[논문 리뷰] Progressive Attention Networks for Visual Attribute Prediction

Paul Hongsuck Seo, Zhe Lin외 3명|arXiv (Cornell University)|2016. 06. 08.

Multimodal Machine Learning Applications참고 문헌 23인용 수 32

한 줄 요약

이 논문은 다층 컨볼루션 레이어에 주의를 적용하여 다양한 크기와 형태를 가진 객체에 점진적으로 집중을 정교화하는 새로운 다층 주의 메커니즘인 프로그레시브 어텐션 네트워크(PAN)를 제안한다. 하드 주의와 가능성 최소화, 국소적 맥락 모델링을 통합함으로써 PAN은 시각적 속성 예측에서 최신 기술 수준의 성능을 달성하며, 합성 및 실제 세계 데이터셋에서 소프트 주의와 공간 변환 네트워크를 능가한다.

ABSTRACT

We propose a novel attention model that can accurately attends to target objects of various scales and shapes in images. The model is trained to gradually suppress irrelevant regions in an input image via a progressive attentive process over multiple layers of a convolutional neural network. The attentive process in each layer determines whether to pass or block features at certain spatial locations for use in the subsequent layers. The proposed progressive attention mechanism works well especially when combined with hard attention. We further employ local contexts to incorporate neighborhood features of each location and estimate a better attention probability map. The experiments on synthetic and real datasets show that the proposed attention networks outperform traditional attention methods in visual attribute prediction tasks.

연구 동기 및 목표

• 시각적 속성 예측에서 다양한 크기와 형태를 가진 객체를 다루는 데에 단일 레이어 주의 메커니즘의 한계를 해결하기 위해.
• CNN의 다중 레이어를 통해 주의맵을 점진적으로 정교화시켜 주의 정확도와 내성 강도를 향상시키기 위해.
• 특징맵 내 국소적 공간 맥락을 통합함으로써 주의 안정성과 국소화 정밀도를 향상시키기 위해.
• 질의 기반 시각적 속성 예측 작업에서 하드 주의가 소프트 주의보다 우월한지를 입증하기 위해.
• VGG-16의 중간 레이어에 주의 모듈을 스택하여 엔드 투 엔드 훈련을 통해 실세계 및 합성 데이터셋에서 더 나은 성능을 달성하기 위해.

제안 방법

• 모델은 사전 훈련된 VGG-16 네트워크의 다중 레이어에 프로그레시브 주의 메커니즘을 적용하며, 작은 수신장이 있는 저수준 특징에서 시작하여 큰 수신장이 있는 고수준 특징으로 진행된다.
• 각 레이어에서 네트워크는 주의맵을 예측하여 관련이 없는 공간 위치를 선택적으로 억제하며, 특징 활성화를 통과시키거나 차단하는 방식으로 학습한다.
• 국소적 맥락은 각 공간 위치 주변의 이웃(δ=2)에서 특징을 집계하여 주의맵 추정을 안정화시키기 위해 모델링된다.
• 하드 주의는 가능성 최소화를 통해 구현되며, 소프트 특징 집계를 대체함으로써 국소화 정확도를 향상시키고 의미 왜곡을 줄인다.
• Adam 옵timizer를 사용하여 학습률 감소와 함께 엔드 투 엔드로 미세조정되며, 최종 주의 특징과 질의 임bedding을 융합하여 질의 기반 조건을 적용한다.
• 모델은 객체 클래스 조건부 사전확률 유무로 평가되며, 사전확률은 질의를 주의 특징 벡터와 융합하는 완전히 연결된 레이어를 통해 통합된다.

실험 결과

연구 질문

• RQ1 다층 주의 메커니즘이 다양한 크기와 형태를 가진 객체의 국소화 정확도를 시각적 속성 예측에서 향상시킬 수 있는가?
• RQ2 가능성 최소화와 함께 하드 주의를 통합하면 이 맥락에서 소프트 주의보다 더 나은 성능을 내는가?
• RQ3 국소적 공간 맥락의 포함 여부가 주의맵의 안정성과 정밀도에 어떤 영향을 미치는가?
• RQ4 특징 계층의 점진적 주의가 STN나 SAN과 같은 단일 레이어 주의 메커니즘보다 얼마나 뛰어나게 성능을 높이는가?
• RQ5 제안된 방법이 질의 기반 속성 예측 작업에서 합성 및 실세계 데이터셋 모두에 일반화 가능한가?

주요 결과

• PAN[H]+CTX 모델은 '주의 전용' 설정에서 VG 데이터셋에서 34.19의 가중 mAP를 기록하여 모든 베이스라인을 크게 능가했다.
• PASCAL VOC 2007 데이터셋에서 PAN[H]+CTX는 31.79%의 TPR을 기록하여 모든 모델 중에서 가장 높은 주의 국소화 품질을 보였다.
• 하드 주의와 국소적 맥락을 통합한 모델(PAN[H]+CTX)은 VOC 2007에서 24.37%의 TPR을 기록했으며, 이는 SAN(22.01%)과 HAN(24.91%)을 모두 초월했다.
• 국소적 맥락을 통합한 프로그레시브 주의(PAN[S]+CTX)는 VG에서 32.50%의 mAP를 기록하여, 같은 설정에서 SAN(31.84%)과 HAN(31.93%)을 모두 능가했다.
• 공간 변환 네트워크(STN)는 높은 mAP를 기록했지만 TPR이 낮아(11.59% 및 1.99%) 정확도는 뛰어나지만 국소화 능력은 열악한 것으로 나타났다.
• 제거 분석 결과 하드 주의와 국소적 맥락 모두 성능 향상에 기여하며, PAN[H]+CTX가 가장 우수한 종합 성능을 기록했다.