[논문 리뷰] Coarse to Fine: Multi-label Image Classification with Global/Local Attention

Fan Lyu, Fuyuan Hu외 4명|arXiv (Cornell University)|2020. 12. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 인간의 시각 인지 방식을 모방하기 위해 전반적이고 국소적인 주의 메커니즘을 사용하는 군집에서 세분으로의 다중 레이블 이미지 분류 모델을 제안한다. 먼저 전체 이미지에 주목한 후 특정 객체에 집중한다. 또한 성능을 향상시키기 위해 동시 최대 마진 목적함수를 도입하여 Pascal VOC 2007(85.6% mAP)과 MS-COCO(64.64% mAP)에서 최신 기준 성능을 달성한다.

ABSTRACT

In our daily life, the scenes around us are always with multiple labels especially in a smart city, i.e., recognizing the information of city operation to response and control. Great efforts have been made by using Deep Neural Networks to recognize multi-label images. Since multi-label image classification is very complicated, people seek to use the attention mechanism to guide the classification process. However, conventional attention-based methods always analyzed images directly and aggressively. It is difficult for them to well understand complicated scenes. In this paper, we propose a global/local attention method that can recognize an image from coarse to fine by mimicking how human-beings observe images. Specifically, our global/local attention method first concentrates on the whole image, and then focuses on local specific objects in the image. We also propose a joint max-margin objective function, which enforces that the minimum score of positive labels should be larger than the maximum score of negative labels horizontally and vertically. This function can further improve our multi-label image classification method. We evaluate the effectiveness of our method on two popular multi-label image datasets (i.e., Pascal VOC and MS-COCO). Our experimental results show that our method outperforms state-of-the-art methods.

연구 동기 및 목표

• 다중 레이블 이미지 분류에서 복잡한 시나리오 이해의 과제를 인간의 시각 주의 방식을 모방함으로써 해결하고자 한다.
• 구조적 주의 메커니즘을 도입하여 관련이 없거나 노이즈가 많은 배경 특징의 영향을 줄이고자 한다.
• 전반적인 시나리오 맥락과 국소적 객체 특징을 모두 모델링하여 레이블 예측 성능을 향상시키고자 한다.
• 새로운 동시 최대 마진 목적함수를 통해 양성 및 부정성 레이블 간의 분류 능력을 향상시키고자 한다.
• 표준 다중 레이블 벤치마크인 Pascal VOC와 MS-COCO에서 제안된 방법의 효과성을 검증하고자 한다.

제안 방법

• 최종 합성곱층에서 이미지 특징을 추출하기 위해 CNN 인코더(VGG-16)를 사용한다.
• 최종 특징 맵에서 전반적 주의를 생성하여 이미지의 개략적 개요를 표현한다.
• 각 디코딩 단계에서 국소적 주의를 적용하는 RNN 디코더를 사용하여 개별 레이블 예측을 위해 특정 이미지 영역에 집중한다.
• 양성 및 부정성 레이블 점수 간의 마진을 수평 및 수직 방향 모두에서 강제하는 동시 최대 마진 목적함수를 도입한다.
• 하이퍼파ram터 λ₁ = 5×10⁻² 및 λ₂ = 5×10⁻²를 사용하여 교차 엔트로피 손실과 최대 마진 정규화자를 조합하여 모델을 최적화한다.
• 주목도 맵을 업스케일링하고 가우시안 필터링을 적용하여 학습 에포크 동안 모델의 주목도 동역학을 해석한다.

Figure 1: The schematic of the proposed architecture. The encoder CNN extracts feature from images, and computes the global attention from the feature map. Then, the attended features are sent to the decoder RNN. At every step of RNN, we focus on each local attention to guide the prediction.

실험 결과

연구 질문

• RQ1 군집에서 세분으로의 주의 메커니즘이 시나리오 맥락과 객체 특화 특징을 더 잘 모델링함으로써 다중 레이블 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 전반적 주의와 국소적 주의를 통합하면 전반적 또는 국소적 주의만 사용하는 모델에 비해 성능이 어떻게 향상되는가?
• RQ3 동시 최대 마진 목적함수는 다중 레이블 설정에서 양성 및 부정성 레이블 간의 분류 능력을 어느 정도 향상시키는가?
• RQ4 주목도 맵은 학습 과정에서 어떻게 변화하며, 인간의 시각 스캐닝 행동 패턴을 반영하는가?
• RQ5 제안된 방법은 Pascal VOC 및 MS-COCO와 같은 표준 다중 레이블 벤치마크에서 최신 기준 성능을 달성하는가?

주요 결과

• 제안된 방법은 Pascal VOC 2007에서 85.6% mAP를 달성하여 HCP-2000C와 같은 모든 비교 기준 최신 기술보다 뛰어난 성능을 보였다. 이는 추가 2000개 클래스를 학습에 사용한 것과 비교해도 우수한 성능이다.
• 국소 주의 모델(VGG+LSTM+L/G)에 전반적 주의를 추가함으로써 mAP가 85.2%에서 85.4%로 향상되어 시나리오 수준의 맥락이 유용함을 입증했다.
• 동시 최대 마진 목적함수(VGG+LSTM+L/G+MM)를 적용함으로써 성능이 85.6% mAP로 추가로 향상되어 레이블 분류 능력 향상에 효과적임을 확인했다.
• MS-COCO에서 모델은 64.64% mAP를 기록하여 VGG+LSTM+L/G 기준선의 64.07%를 초월했으며, 상위 3개 및 상위 5개 성능을 포함한 대부분의 지표에서 다른 방법들을 능가했다.
• 시각화 결과는 주목도가 초기에는 전반적(넓은 이미지 커버리지)으로 시작하여 점차 국소적(특정 객체에 집중)으로 변화함을 확인했으며, 이는 인간의 시각 주의 패턴을 반영한다.
• VGG+LSTM은 VGG 단독 모델에 비해 성능 저하를 보였는데, 이는 MS-COCO와 같은 대규모, 레이블 밀도가 높은 데이터셋에서 RNN 기반 디코딩이 주의 메커니즘 없이 노이즈를 유발하거나 성능을 떨어뜨릴 수 있음을 시사한다.

(a) Global attention