[논문 리뷰] Needles in Haystacks: On Classifying Tiny Objects in Large Images

Nick Pawlowski, Suvrat Bhooshan외 4명|arXiv (Cornell University)|2019. 08. 16.

AI in cancer detection참고 문헌 37인용 수 8

한 줄 요약

이 논문은 의료 및 고스펙트럼 영상에서 흔한 대규모 이미지 내 미세 물체 분류에 대해 기존의 컨volutional 신경망(CNNs)의 성능을 조사하기 위해 합성 MNIST 및 조직병리학 기반 데이터셋을 사용한 새로운 테스트베드를 제안한다. 연구 결과, 일반화 능력은 임계 물체-이미지(O2I) 비율 이하에서 급격히 악화되나, 깊이 있는 모델과 충분한 훈련 데이터로 이를 완화할 수 있으며, 특히 낮은 신호 대 잡음 비율 조건에서는 최대 풀링이 더 우수한 최적화 성능을 보인다.

ABSTRACT

In some important computer vision domains, such as medical or hyperspectral imaging, we care about the classification of tiny objects in large images. However, most Convolutional Neural Networks (CNNs) for image classification were developed using biased datasets that contain large objects, in mostly central image positions. To assess whether classical CNN architectures work well for tiny object classification we build a comprehensive testbed containing two datasets: one derived from MNIST digits and one from histopathology images. This testbed allows controlled experiments to stress-test CNN architectures with a broad spectrum of signal-to-noise ratios. Our observations indicate that: (1) There exists a limit to signal-to-noise below which CNNs fail to generalize and that this limit is affected by dataset size - more data leading to better performances; however, the amount of training data required for the model to generalize scales rapidly with the inverse of the object-to-image ratio (2) in general, higher capacity models exhibit better generalization; (3) when knowing the approximate object sizes, adapting receptive field is beneficial; and (4) for very small signal-to-noise ratio the choice of global pooling operation affects optimization, whereas for relatively large signal-to-noise values, all tested global pooling operations exhibit similar performance.

연구 동기 및 목표

• 대규모 이미지 내에서 미세 물체를 분류할 때 표준 CNN의 일반화 한계를 조사함. 특히 낮은 신호 대 잡음 비율(낮은 O2I) 조건에서의 성능을 중심으로 분석함.
• 데이터셋 크기, 모델 용량, 수용장치 설계, 전역 풀링 연산이 낮은 O2I 조건에서 모델 성능에 미치는 영향을 규명함.
• 낮은 신호 대 잡음 비율의 이미지 분류 시나리오에서 CNN의 제어된 평가를 위한 재현 가능한 테스트베드를 개발함.
• 이미지 수준의 레이블만 제공될 때, 사전 지식이 없는 물체 국소화 기반의 사전 지식이 가능한지 평가함.
• 낮은 O2I 분류 작업에서 만족스러운 정확도를 달성하기 위한 최소 데이터 요구량을 규명함.

제안 방법

• O2I 비율을 제어한 합성 데이터셋 두 종류를 구축함: 하나는 O2I 비율을 제어한 MNIST 숫자 이미지에서 유도된 데이터셋(19.14%에서 0.30%까지), 다른 하나는 조직병리학 이미지(CAMELYON17)에서 유도된 데이터셋으로, O2I 비율을 근사적으로 제어함.
• 픽셀 수준의 애너테이션 없이 이미지 수준의 레이블만을 사용해 다양한 용량의 ResNet 기반 CNN을 훈련함(예: ResNet-50).
• 다양한 O2I 비율과 데이터셋 크기에서 최대 풀링, 평균 풀링, logsumexp, 소프트 어텐션 풀링 등 여러 전역 풀링 연산을 평가함.
• 기울기 기반의 사전 지식이 없는 국소화 성능 평가를 위해 색소맵을 활용함. 가장 높은 활성화 영역을 예측된 물체 위치로 간주함.
• 실제 물체의 바운딩 박스를 기반으로 평균 정밀도(AP)를 사용해 검출 성능을 정량화함.
• 훈련 세트 크기(1,400에서 22,552개 샘플까지)와 O2I 비율을 체계적으로 변화시켜 데이터 효율성과 일반화 한계를 분석함.

실험 결과

연구 질문

• RQ1 표준 CNN이 큰 훈련 세트가 있더라도 일반화가 실패하는 최소 O2I 비율은 얼마인가?
• RQ2 주어진 모델에서 만족스러운 정확도를 달성하기 위해 O2I 비율이 감소함에 따라 필요한 훈련 데이터의 양은 어떻게 변화하는가?
• RQ3 모델 용량을 증가시키면 낮은 O2I 조건에서 일반화 성능이 향상되는가? 만약 그렇다면 그 메커니즘은 무엇인가?
• RQ4 다양한 전역 풀링 연산은 매우 낮은 신호 대 잡음 비율에서 최적화 및 일반화에 어떤 영향을 미치는가?
• RQ5 이미지 수준의 레이블로 훈련된 모델에서 유도된 색소맵은 충분한 정확도로 미세 물체를 국소화할 수 있는가? 즉, 약한 지도 학습 기반의 검출이 가능한가?

주요 결과

• 모든 테스트된 CNN이 무작위 성능을 초월하지 못하는 임계 O2I 비율이 존재하며, 이는 데이터셋 크기에 따라 달라진다.
• 일반화를 위해 필요한 훈련 데이터의 양은 O2I 비율의 역수에 따라 급격히 증가하므로, 미세 물체 분류의 경우 높은 데이터 효율성 도전 과제가 존재함.
• 높은 용량의 모델은 낮은 O2I 조건에서도 더 우수한 일반화 성능를 보이며, 이는 복잡한 노이즈 구조를 모델링하고 특징을 추출할 수 있는 능력 때문일 것으로 추정됨.
• 기대되는 물체 크기에 맞게 수용장치를 조정하면 성능 향상이 이루어지며, 이는 낮은 신호 대 잡음 조건에서 인덕티브 바이어스의 중요성을 확인함.
• 매우 낮은 O2I 비율에서는 최대 풀링이 다른 풀링 방식보다 더 빠르고 안정적인 최적화를 보이며, 높은 O2I 비율에서는 모든 풀링 유형이 유사한 성능을 보임.
• 이미지 수준의 레이블로 훈련된 모델의 색소맵은 관심 물체를 의미 있는 방식으로 국소화하며, O2I 비율이 낮아질수록 평균 정밀도가 감소하지만, 중간 수준의 O2I 비율에서는 여전히 사용 가능한 검출 성능를 달성함.