[논문 리뷰] Two-Phase Learning for Weakly Supervised Object Localization

Dahun Kim, Donghyeon Cho외 2명|arXiv (Cornell University)|2017. 08. 07.

Visual Attention and Saliency Detection참고 문헌 36인용 수 40

한 줄 요약

이 논문은 이미지 수준의 애너테이션으로 인해 객체의 가장 분류에 유리한 부분에만 집중하는 한계를 극복하기 위해 약한 감독 하의 객체 지도 학습을 위한 이단계 학습 프레임워크를 제안한다. 첫 번째 네트워크의 선명한 영역에서의 활성화를 추론 조건부 피드백을 통해 두 번째 단계 학습 중에 억제함으로써, 모델은 상호 보완적인 보조 객체 부분을 발견하게 되며, 이는 통합된 활성도 히트맵을 통해 전체 객체의 범위를 정확히 지도할 수 있게 한다. 이로 인해 Pascal VOC 2012에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Weakly supervised semantic segmentation and localiza- tion have a problem of focusing only on the most important parts of an image since they use only image-level annota- tions. In this paper, we solve this problem fundamentally via two-phase learning. Our networks are trained in two steps. In the first step, a conventional fully convolutional network (FCN) is trained to find the most discriminative parts of an image. In the second step, the activations on the most salient parts are suppressed by inference conditional feedback, and then the second learning is performed to find the area of the next most important parts. By combining the activations of both phases, the entire portion of the tar- get object can be captured. Our proposed training scheme is novel and can be utilized in well-designed techniques for weakly supervised semantic segmentation, salient region detection, and object location prediction. Detailed experi- ments demonstrate the effectiveness of our two-phase learn- ing in each task.

연구 동기 및 목표

• 이미지 수준의 애너테이션으로 인해 모델이 객체의 가장 분류에 유리한 부분에만 집중하는 약한 감독 하의 객체 지도 학습에서의 근본적 한계를 해결하기 위해.
• 딥 네트워크가 두 개의 서로 다른 학습 단계를 거쳐 동일 객체의 다수의 선명한 영역을 발견하고 지도할 수 있도록 하는 학습 전략을 개발하기 위해.
• 두 개의 상호 보완적인 네트워크를 순차적으로 훈련하여 생성된 활성도 히트맵을 통합함으로써 객체 지도 학습, 의미적 세그멘테이션, 그리고 선명도 탐지 성능을 향상시키기 위해.
• 외부 영역 제안 또는 복잡한 풀링 메커니즘에 의존하지 않도록 학습 과정 자체를 근본적으로 수정함으로써 이를 제거하기 위해.

제안 방법

• 첫 번째 단계에서는 이미지 수준의 애너테이션을 사용하여 표준 전결합 신경망(FCN)을 훈련시켜 객체의 가장 분류에 유리한 부분을 식별하고, 클래스별 활성도 히트맵을 생성한다.
• 두 번째 단계에서는 첫 번째 단계에서 식별된 가장 선명한 영역에서의 활성화 반응을 억제함으로써, 네트워크가 더 두드러지지 않지만 여전히 관련성이 있는 객체의 보조 부분에 집중하도록 유도한다.
• 억제 조치는 추론 중에 첫 번째 네트워크의 출력에서 고활성 영역을 마스킹함으로써 구현되며, 이는 두 번째 네트워크가 중복된 특징을 피하도록 조건화하는 데 효과적이다.
• 최종적인 객체 지도 학습은 두 네트워크의 활성도 히트맵을 통합함으로써 달성되며, 이는 대상 객체의 더 넓은 공간 범위를 포괄하게 된다.
• 이 방법은 추가적인 애너테이션 없이도 약한 감독 하의 의미적 세그멘테이션, 선명도 탐지, 객체 지도 학습 작업에 적용된다.
• 이 접근법은 mAP 및 IoU 메트릭을 사용하여 Pascal VOC 2012 데이터셋에서 평가되었으며, 아블레이션 스터디를 통해 이단계 설계의 효과성이 입증되었다.

실험 결과

연구 질문

• RQ1 약한 감독 학습에서 가장 분류에 유리한 부분에만 집중하는 것 외에도 전체 객체의 범위를 더 잘 지도할 수 있도록 이단계 학습 전략이 개선할 수 있는가?
• RQ2 첫 번째 네트워크의 가장 선명한 특징을 억제함으로써 두 번째 네트워크가 의미적으로 유의미하고 보완적인 객체 영역을 발견할 수 있는가?
• RQ3 순차적으로 훈련된 두 네트워크의 활성도 히트맵을 통합하면 객체 지도 학습, 세그멘테이션, 선명도 탐지 성능에 얼마나 기여하는가?
• RQ4 두 네트워크의 최상위 활성화 위치 간의 공간적 위치는 거리와 의미적 일관성 측면에서 어떻게 비교되는가?

주요 결과

• 첫 번째 네트워크는 Pascal VOC 2012 검증 세트에서 mAP 88.1%를 기록하여 가장 분류에 유리한 부분에 대한 강력한 지도 학습 능력을 확인했다.
• 두 번째 네트워크는 mAP 82.6%를 기록하여, 주요 특징이 억제됨에도 불구하고 보조 객체 부분을 성공적으로 지도함을 보여주었다.
• 첫 번째 및 두 번째 네트워크의 예측 위치 간 평균 유클리드 거리는 69 픽셀이었으며, 이는 두 네트워크가 동일한 객체의 서로 다른 비중복 영역에 집중하고 있음을 시사한다.
• 정성적 결과에서는 두 네트워크가 서로 다른데도 의미적으로 일관된 부분(예: 보트의 날개, 자동차의 기둥)을 강조함을 확인하여 보완적인 특징 발견이 이루어졌음을 확인했다.
• 통합된 활성도 히트맵은 전체 객체 지도 학습을 크게 향상시켰으며, 정성적 결과에서는 확장되고 더 정확한 세그멘테이션 마스크가 관찰되었다.
• 이 방법은 베이스라인 약한 감독 모델을 능가했으며, 외부 영역 제안 또는 복잡한 풀링 레이어를 요구하지 않아 효과성과 단순성 모두 입증되었다.