[논문 리뷰] Visual Concept Recognition and Localization via Iterative Introspection

Amir Rosenfeld|arXiv (Cornell University)|2016. 03. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 시각적 개념 인식과 국소화를 향상시키기 위해 반복적 자기진단 프레임워크를 제안한다. 분류 맵(CAM)을 활용해 반복적으로 분류에 기여하는 이미지 영역에 초점을 맞추고, 차수별로 분류를 수행함으로써 예측을 개선함으로써, Stanford-40 Actions에서 81.74%의 최고 성능을 달성하여 이전의 약한 지도 학습 방법들을 능가한다.

ABSTRACT

Convolutional neural networks have been shown to develop internal representations, which correspond closely to semantically meaningful objects and parts, although trained solely on class labels. Class Activation Mapping (CAM) is a recent method that makes it possible to easily highlight the image regions contributing to a network's classification decision. We build upon these two developments to enable a network to re-examine informative image regions, which we term introspection. We propose a weakly-supervised iterative scheme, which shifts its center of attention to increasingly discriminative regions as it progresses, by alternating stages of classification and introspection. We evaluate our method and show its effectiveness over a range of several datasets, where we obtain competitive or state-of-the-art results: on Stanford-40 Actions, we set a new state-of the art of 81.74%. On FGVC-Aircraft and the Stanford Dogs dataset, we show consistent improvements over baselines, some of which include significantly more supervision.

연구 동기 및 목표

• 컨volutional 네트워크가 분류에 기여하는 이미지 영역를 반복적으로 재검토할 수 있도록 하여 약한 지도 학습 시각 인식을 향상시키기.
• 경계 상자나 부위 레이블이 필요 없이 세분화되고 국소화된 시각 인식 문제를 해결하기.
• 반복적인 자기진단 단계를 통해 주의력과 예측을 개선하는 자기 향상 분류 메커니즘 개발하기.
• 틀린 예측조차도 유용한 영역 강조를 이끌어내어 반복적 개선을 가능하게 하기.

제안 방법

• 모델은 분류 예측이 잘못되었더라도, 분류 결정에 기여하는 이미지 영역를 특정하기 위해 Class Activation Mapping(CAM)을 사용한다.
• 가장 높은 점수를 가진 CAM 영역를 선택하고, 하위 창을 자르며 각 단계에서 별도의 분류기를 사용하여 반복적 자기진단을 수행한다.
• 각 자기진단 단계는 현재 하위 창에서 추출한 특징을 기반으로 훈련된 별도의 분류기를 사용하여 시간이 지남에 따라 국소화 및 분류 정확도를 향상시킨다.
• 분류와 자기진단을 번갈아 수행함으로써 점점 더 작은, 더 분류에 기여하는 영역에 집중한다.
• VGG-16의 fc6와 GAP 특징 표현을 결합하여 분류 능력을 향상시키며, 첫 번째 반복 전에 네트워크를 미세조정하여 성능을 향상시킨다.
• 고정된 크기 비율(√2)을 갖는 빔 서치 전략을 사용하여 하위 창의 크기를 제어함으로써, 확대 깊이와 특징 유지 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 CNN의 내부 주의 메커니즘을 자기진단을 통해 반복적으로 자신의 예측을 개선하는 데 활용할 수 있는가?
• RQ2 반복적으로 CAM로 강조된 영역에 집중함으로써, 이미지 레이블만으로도 약한 지도 학습 국소화 성능을 향상시킬 수 있는가?
• RQ3 하위 창 분류를 통한 반복적 개선이 세분화되고 국소화된 시각 인식 작업에서 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ4 다양한 특징 표현(예: GAP 및 fc6)의 통합이 자기진단 프레임워크의 성능에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 Stanford-40 Actions 데이터셋에서 기존 최고 성능인 81.0%를 초월하여 새로운 최고 성능인 81.74%를 달성했다.
• FGVC-Aircraft 및 Stanford Dogs 데이터셋에서, 강력한 기준 모델들보다도 일관된 성능 향상을 보였으며, 이는 기준 모델들이 훨씬 더 많은 지도 정보를 사용한 경우에도 마찬가지였다.
• 네 번째 반복 이후 성능이 포화 상태에 도달하고 약간 감소하여, 너무 작은 이미지 영역에 과도하게 확대할 경우 수익 감소 현상이 발생함을 시사했다.
• 각 단계에서 점수 상위 영역를 단일로 선택하는 탐욕적 전략이, 다수 후보를 고려하는 빔 서치 전략보다 성능이 뛰어났다.
• 첫 번째 반복 전에 VGG-GAP 네트워크를 미세조정함으로써 Stanford-40과 CUB-200-2011에서 성능 향상을 이룰 수 있었으며, 모든 데이터셋에서 그런 효과를 보이진 않았다.
• 전체 미세조정을 적용한 결과, CUB-200-2011에서 79.95%의 성능을 달성하여, 부위나 경계 상자 레이블 없이도 경쟁 가능한 성능을 보였다.