[논문 리뷰] Saliency-based Sequential Image Attention with Multiset Prediction

Sean Welleck, Jialin Mao외 2명|arXiv (Cornell University)|2017. 11. 14.

Visual Attention and Saliency Detection참고 문헌 39인용 수 11

한 줄 요약

이 논문은 다중셋 다중라벨 이미지 분류를 위한 순차적이고 총의적인 이미지 주의를 가능하게 하기 위해 총의도 맵과 새로운 강화학습 기반 학습 프로세스를 사용하는 계층적 시각 아키텍처를 제안한다. 모델은 암묵적 및 명시적 주의 기반 메커니즘을 통합하여, 라벨 순서의 임의성과 라벨당 다중 인스턴스 처리를 지원함으로써 높은 정밀도와 재현율을 달성한다.

ABSTRACT

Humans process visual scenes selectively and sequentially using attention. Central to models of human visual attention is the saliency map. We propose a hierarchical visual architecture that operates on a saliency map and uses a novel attention mechanism to sequentially focus on salient regions and take additional glimpses within those regions. The architecture is motivated by human visual attention, and is used for multi-label image classification on a novel multiset task, demonstrating that it achieves high precision and recall while localizing objects with its attention. Unlike conventional multi-label image classification models, the model supports multiset prediction due to a reinforcement-learning based training process that allows for arbitrary label permutation and multiple instances per label.

연구 동기 및 목표

• 인간의 시각 주의를 모방하기 위해 암묵적 및 명시적 주의를 모두 사용하여 순차적으로 주목할 만한 이미지 영역에 집중하는 딥러닝 아키텍처를 개발한다.
• 기존의 다중라벨 분류 모델이 라벨 순서에 민감하고 라벨당 다중 인스턴스를 처리할 수 없는 한계를 해결한다.
• 라벨 순서에 관계없이 불변이며, 클래스당 다중 예측을 지원하는 강화학습 기반 학습 프로세스를 설계하여 다중셋 예측을 가능하게 한다.
• 생물학적 시각 주의 모델을 영감으로 받아, 하부에서 생성된 총의도 맵과 상부에서 목표 지향적 주의를 통합하는 우선도 맵을 통해 하부와 상부 주의를 통합한다.
• 계층적 주의 메커니즘이 다중셋 작업에서 객체 국소화와 높은 분류 성능을 달성하는 데 효과적임을 입증한다.

제안 방법

• 모델은 이미지를 전방향 신경망을 통해 처리하여 저수준 특징 기반으로 시각적 위치의 두드러짐을 코딩하는 하부 주의 총의도 맵을 생성한다.
• 계층적 주의 메커니즘을 적용한다: 상위 레벨의 컨트롤러는 총의도 맵을 사용하여 주목할 만한 영역을 선택하고, 하위 레벨의 컨트롤러는 해당 영역 내에서 더 정교한 봉착을 수행한다.
• 암묵적 주의 기반 메커니즘은 가우시안 공간 필터를 사용하여 동시에 여러 분리된 영역에 집중함으로써 노이즈 제거 및 간섭 요소 억제를 가능하게 한다.
• 명시적 주의 기반 메커니즘은 특정 위치로 순차적인 봉착을 안내하며, 컨트롤러가 강화학습을 통해 최적의 봉착을 선택하도록 학습한다.
• 라벨 순서에 관계없이 높은 총의도 영역에서 봉착을 취하고 분류 성능을 향상시키기 위한 새로운 보상 신호를 설계한다.
• 보상 신호를 형상화하여 모든 라벨(라벨당 다중 인스턴스 포함)에 대해 높은 정밀도와 재현율을 유도하도록 강화학습을 통해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 인간의 인지에 영감을 받은 순차적이고 총의도 기반의 시각 주의를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 어떻게 시각 모델을 훈련시켜 고정된 라벨 순서에 의존하지 않고도 다중셋 예측—즉, 라벨 순서의 임의성과 라벨당 다중 인스턴스 처리—를 가능하게 할 수 있는가?
• RQ3 암묵적 및 명시적 주의 기반 메커니즘을 통합함으로써 객체 국소화 및 분류 성능은 어느 정도 향상되는가?
• RQ4 강화학습 기반 학습 방식이 기존의 교차 엔트로피 학습 방식보다 다중셋 이미지 분류 작업에서 더 우수한 성능을 내는가?
• RQ5 계층적 주의 메커니즘은 레이어별로 봉착 선택을 통해 특징 추출과 국소화 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 HSAL-RL 모델은 세트 기반 및 다중셋 기반 이미지 분류 작업 모두에서 높은 정밀도, 재현율 및 매크로-F1 스코어를 달성하여 모든 지표에서 뛰어난 성능을 보였다.
• 교차 엔트로피로 학습했을 경우 성능이 크게 저하됨을 확인하여, 강화학습 기반 학습이 다중셋 불변성과 강건성에 필수적임을 입증하였다.
• 훈련 과정에서 컨트롤러의 봉착 수가 25에서 126.5로 증가함을 통해 총의도 기반 주의 학습이 효과적으로 이루어졌음을 보여주었으며, 보상 없이 학습한 베이스라인은 향상되지 않았다.
• 계층적 주의 메커니즘이 먼저 총의도 영역에 주목한 후 여러 번의 봉착을 통해 집중을 정교화함으로써 객체 국소화를 성공적으로 수행하였다. 이는 추론 예시에서 시각화되었다.
• 모델은 동일한 라벨의 다중 인스턴스(예: '33', '449')를 정확히 예측하고, 라벨 순서의 순열(예: '689' 대비 '986')을 처리함으로써 다중셋 예측 능력을 입증하였다.
• 총의도 맵의 품질과 활성화 해상도의 한계가 존재하지만, 모듈식 설계 덕분에 고품질의 총의도 모델이나 고해상도 특징으로의 통합이 가능하여 성능 향상을 도모할 수 있다.