[논문 리뷰] Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition

Tianshui Chen, Zhouxia Wang외 2명|arXiv (Cornell University)|2017. 12. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 14

한 줄 요약

이 논문은 이미지 수준의 레이블만을 사용하여 종단간 학습이 가능한 순환적 주의 기반 강화 학습 프레임워크를 제안한다. 이 프레임워크는 LSTM 기반 에이전트를 통해 반복적으로 구분 가능한 이미지 영역을 탐지함으로써 다중 레이블 이미지 인식을 수행한다. 장기적인 주의 영역 간 의존성을 모델링하고 레이블 동시 발생을 명시적으로 포착함으로써 PASCAL VOC 및 MS-COCO 벤치마크에서 제안 기반 방법들을 능가하는 최신 기술 수준의 정확도와 효율성을 달성한다.

ABSTRACT

Recognizing multiple labels of images is a fundamental but challenging task in computer vision, and remarkable progress has been attained by localizing semantic-aware image regions and predicting their labels with deep convolutional neural networks. The step of hypothesis regions (region proposals) localization in these existing multi-label image recognition pipelines, however, usually takes redundant computation cost, e.g., generating hundreds of meaningless proposals with non-discriminative information and extracting their features, and the spatial contextual dependency modeling among the localized regions are often ignored or over-simplified. To resolve these issues, this paper proposes a recurrent attention reinforcement learning framework to iteratively discover a sequence of attentional and informative regions that are related to different semantic objects and further predict label scores conditioned on these regions. Besides, our method explicitly models long-term dependencies among these attentional regions that help to capture semantic label co-occurrence and thus facilitate multi-label recognition. Extensive experiments and comparisons on two large-scale benchmarks (i.e., PASCAL VOC and MS-COCO) show that our model achieves superior performance over existing state-of-the-art methods in both performance and efficiency as well as explicitly identifying image-level semantic labels to specific object regions.

연구 동기 및 목표

• 제안 기반 다중 레이블 인식 방법의 비효율성과 열등한 성능을 해결하기 위해, 중복되고 구분성이 떨어지는 영역 제안을 생성하는 문제를 해결한다.
• 다양한 객체 영역 간의 장기적인 공간적 및 의미적 의존성을 모델링하여 이미지 내 레이블 동시 발생 패턴을 포착한다.
• 바운딩 박스 애너테이션을 필요로 하지 않고 이미지 수준의 레이블만을 사용하여 종단간 학습을 가능하게 한다.
• 강화 학습을 통해 적응적으로 정보성 있는 영역을 탐지하는 순차적 의사결정 메커니즘을 개발한다.
• 기존 최신 기술 수준의 방법들과 비교하여 분류 정확도와 계산 효율성을 모두 향상시킨다.

제안 방법

• 입력 이미지에서 깊은 특징 맵을 추출하기 위해 완전 컨volution 네트워크(VGG16)를 사용한다.
• LSTM 기반 순환 주의 모듈이 반복적으로 주의 지점과 각 영역의 클래스 점수를 예측하며, 이전 반복의 맥락을 은닉 상태를 통해 모델링한다.
• 각 단계에서 예측된 위치 주변에 다양한 크기와 종횡비를 가진 여러 영역을 샘플링하여 객체 커버리지를 향상시킨다.
• 에이전트는 강화 학습을 통해 훈련되며, 행동은 주의 지점 선택, 상태는 현재 특징과 이전 은닉 상태를 포함하고, 보상은 분류 정확도에 기반한다.
• 바운딩 박스 애너테이션 없이 이미지 수준의 레이블을 사용하여 종단간 최적화가 이루어진다.
• 다양한 이미지 스케일에서의 예측을 통합하여 정확도를 향상시키기 위해 다중 시각 추론 전략을 사용한다.

실험 결과

연구 질문

• RQ1 바운딩 박스 감독 없이, 강화 학습 에이전트가 반복적이고 주의 기반 방식으로 여러 구분 가능한 객체 영역을 효과적으로 탐지할 수 있는가?
• RQ2 주의 영역 간의 장기적 의존성을 모델링하면 다중 레이블 인식 성능에 어떤 영향을 미치는가?
• RQ3 정확도와 계산 효율성의 균형을 고려할 때 최적의 반복 단계 수는 얼마인가?
• RQ4 다양한 크기와 종횡비를 가진 다수의 영역을 반복 단계에서 사용할 경우, 단일 영역 샘플링과 비교해 성능에 어떤 영향을 미치는가?
• RQ5 정확도와 추론 속도 측면에서 제안된 방법이 제안 기반 베이스라인에 비해 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 10개의 시각 평가를 사용한 512×512 해상도에서 PASCAL VOC 2007 데이터셋에서 평균 정밀도(mAP) 91.3%를 달성하여 기존 최신 기술 수준의 방법들을 능가한다.
• 3개의 크기와 3개의 종횡비를 가진 9개의 영역을 반복 단계당 사용할 경우 mAP가 0.4% 향상되어 91.3%를 기록하며, 단일 영역 사용(90.9%)과 비교해 다양한 영역 샘플링의 유용성을 입증한다.
• 최적의 순환 반복 수는 5로, 이를 초과하여 증가시켜도 성능 향상이 없으며, 오히려 노이즈를 유발할 수 있다.
• 단일 GPU에서 이미지당 추론 시간은 약 350ms로, 약 10초가 소요되는 HCP 및 FeV+LV와 같은 제안 기반 방법들보다 약 30배 빠르다.
• 질적 시각화 결과에서 다양한 크기와 종횡비를 가진 다양한 객체(예: 남성과 보트)가 별도의 반복 단계에서 정확하게 식별되는 것으로 나타나, 프레임워크가 다양한 객체를 성공적으로 국소화하고 있음을 확인할 수 있다.
• 제거 실험 결과, 국소화와 분류 모두에 LSTM을 사용한 Ours-C가 가장 높은 성능를 기록하며, 레이블 동시 발생을 포착하기 위해 순환적 맥락 모델링의 중요성을 입증한다.