[논문 리뷰] Self-Transfer Learning for Fully Weakly Supervised Object Localization

Sangheum Hwang, Hyoeun Kim|arXiv (Cornell University)|2016. 02. 04.

Advanced Neural Network Applications참고 문헌 25인용 수 28

한 줄 요약

이 논문은 사전 훈련 모델이나 바운딩 박스 애너테이션을 필요로 하지 않고 분류 및 로컬라이제이션 네트워크를 공동 최적화하는 완전히 약한 감독 객체 로컬라이제이션 프레임워크인 Self-Transfer Learning (STL)을 제안한다. 분류와 로컬라이제이션 간의 손실 비율을 적응적으로 재가중함으로써 STL은 로컬라이제이션 네트워크가 분류에 유의미한 영역에 집중하도록 유도하며, 흉부 X-ray 및 유방 조영술 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 결핵 탐지에서 58%의 상대적 향상과 유방 조영술에서 242%의 상대적 향상을 기록한다.

ABSTRACT

Recent advances of deep learning have achieved remarkable performances in various challenging computer vision tasks. Especially in object localization, deep convolutional neural networks outperform traditional approaches based on extraction of data/task-driven features instead of hand-crafted features. Although location information of region-of-interests (ROIs) gives good prior for object localization, it requires heavy annotation efforts from human resources. Thus a weakly supervised framework for object localization is introduced. The term "weakly" means that this framework only uses image-level labeled datasets to train a network. With the help of transfer learning which adopts weight parameters of a pre-trained network, the weakly supervised learning framework for object localization performs well because the pre-trained network already has well-trained class-specific features. However, those approaches cannot be used for some applications which do not have pre-trained networks or well-localized large scale images. Medical image analysis is a representative among those applications because it is impossible to obtain such pre-trained networks. In this work, we present a "fully" weakly supervised framework for object localization ("semi"-weakly is the counterpart which uses pre-trained filters for weakly supervised localization) named as self-transfer learning (STL). It jointly optimizes both classification and localization networks simultaneously. By controlling a supervision level of the localization network, STL helps the localization network focus on correct ROIs without any types of priors. We evaluate the proposed STL framework using two medical image datasets, chest X-rays and mammograms, and achieve signiticantly better localization performance compared to previous weakly supervised approaches.

연구 동기 및 목표

• 의료 영상과 같은 도메인에서는 사전 훈련 모델이 이용 가능하지 않기 때문에 기존의 약한 감독 객체 로컬라이제이션 방법이 사전 훈련 모델에 의존하는 한계를 해결하고자 한다.
• 이미지 수준의 레이블만 필요로 하고 사전 로컬라이제이션 또는 사전 훈련된 특징이 없는 완전히 약한 감독 프레임워크를 개발하고자 한다.
• 분류 및 로컬라이제이션 네트워크를 공동으로 훈련하고 적응형 손실 가중치를 사용함으로써 로컬라이제이션 성능을 향상시키고자 한다.
• 실제 의료 영상 작업, 특히 흉부 X-ray 및 유방 조영술에 대해 제안된 방법의 유효성을 입증하고자 한다.

제안 방법

• 프레임워크는 분류 및 로컬라이제이션 작업에 대한 교차 엔트로피 손실의 가중 합을 사용하여 분류 네트워크와 로컬라이제이션 네트워크를 공동 최적화한다.
• 조절 가능한 하이퍼파라미터 α는 훈련 중에 분류와 로컬라이제이션 간의 상대적 중요도를 동적으로 조정한다.
• 자기 전이(self-transfer)는 α를 적응적으로 재가중하여 로컬라이제이션 네트워크가 가장 분류에 기여하는 영역에 집중하도록 유도함으로써 실현된다.
• 로컬라이제이션 네트워크는 1×1 컨볼루션 레이어를 거친 후 최대 풀링 또는 평균 풀링을 적용하여 활성화 맵을 생성한다.
• 모델은 사전 훈련된 가중치나 바운딩 박스 애너테이션을 전혀 사용하지 않으며, 오직 이미지 수준의 레이블에 의존한다.
• 분류 및 로컬라이제이션 브랜치 간에 컨볼루션 레이어를 공유함으로써 동일한 네트워크 내에서 특징 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련 모델이나 바운딩 박스 애너테이션을 사용하지 않고도 완전히 약한 감독 객체 로컬라이제이션 프레임워크가 높은 성능을 달성할 수 있는가?
• RQ2 분류 및 로컬라이제이션 네트워크를 공동으로 최적화할 경우, 별도로 훈련하는 것보다 로컬라이제이션 정확도가 어떻게 향상되는가?
• RQ3 적응형 손실 가중치(α를 통한)가 로컬라이제이션 네트워크가 좋은 국소 최적해에 수렴하는 데 미치는 영향은 무엇인가?
• RQ4 제안된 자기 전이 메커니즘이 의료 영상에서 분류에 기여하는 영역에 로컬라이제이션 네트워크를 효과적으로 유도할 수 있는가?
• RQ5 저대비, 잡음이 많은, 해부학적으로 복잡한 영상이 많은 도전적인 의료 영상 작업에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 심천 결핵 데이터셋에서 STL은 평균 풀링을 사용할 경우 기준 모델 대비 로컬라이제이션 AP를 26% 상대적으로 향상시켰고, 분류 AP는 2% 향상되었다.
• MC 결핵 데이터셋에서 STL은 평균 풀링을 사용할 경우 로컬라이제이션 AP가 58% 상대적으로 향상되었으며, 분류 AP는 17% 향상되었다.
• 유방 조영술에서는 STL이 평균 풀링을 사용할 경우 기준 모델 대비 로컬라이제이션 AP가 242% 상대적으로 향상되었으며, 훈련 세트의 높은 복잡성과 낮은 영상 품질에도 불구하고 성능 향상이 뚜렷했다.
• 전역 최대 풀링을 사용할 경우, STL을 적용하지 않은 기준 모델은 훈련이 불가능했으며(훈련 손실 감소 없음), 제안된 메커니즘이 없으면 수렴이 불량함을 시사했다.
• 정밀도-재현율 곡선과 시각화 결과는 STL이 경쟁 방법보다 더 정확하고 국소화가 뚜렷한 활성화 맵을 생성함을 보여주었다.
• 두 가지 서로 다른 의료 영상 데이터셋에서 모두 분류 및 로컬라이제이션 지표에서 모든 기준 모델을 앞서는 성능을 기록했다.