[논문 리뷰] Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

Renchun You, Zhiyao Guo외 4명|arXiv (Cornell University)|2019. 12. 17.

Text and Document Classification Technologies참고 문헌 39인용 수 16

한 줄 요약

이 논문은 다중 레이블 이미지 및 영상 분류를 위한 의미적 그래프 임베딩을 갖춘 교차 모odal 주의 메커니즘을 제안한다. 인접성 기반 유사도 그래프 임베딩을 통해 레이블 간 관계를 학습하고, 이러한 임베딩을 주의 맵을 안내하는 데 사용함으로써 특징 국소화를 향상시키고 공간적/시간적 종속성을 포착한다. 이로 인해 MS-COCO, NUS-WIDE, YouTube-8M Segments 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Multi-label image and video classification are fundamental yet challenging tasks in computer vision. The main challenges lie in capturing spatial or temporal dependencies between labels and discovering the locations of discriminative features for each class. In order to overcome these challenges, we propose to use cross-modality attention with semantic graph embedding for multi label classification. Based on the constructed label graph, we propose an adjacency-based similarity graph embedding method to learn semantic label embeddings, which explicitly exploit label relationships. Then our novel cross-modality attention maps are generated with the guidance of learned label embeddings. Experiments on two multi-label image classification datasets (MS-COCO and NUS-WIDE) show our method outperforms other existing state-of-the-arts. In addition, we validate our method on a large multi-label video classification dataset (YouTube-8M Segments) and the evaluation results demonstrate the generalization capability of our method.

연구 동기 및 목표

• 다중 레이블 이미지 및 영상 분류에서 레이블 간 의미적 종속성을 포착하는 데 도전 과제를 해결하기 위해.
• 주의 메커니즘에 의미적 안내를 통합하여 분류 가능한 이미지 또는 영상 영역의 국소화를 향상시키기 위해.
• 학습된 의미적 그래프 임베딩을 사용해 레이블 간 관계를 명시적으로 모델링하여 분류 성능을 향상시키기 위해.
• 이미지 및 영상 다중 레이블 분류 작업 전반에 걸쳐 효과적인 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 레이블 동시 발생성과 유사도를 그래프 구조에서 활용하여 의미적 레이블 임베딩을 학습하는 인접성 기반 유사도 그래프 임베딩(ASGE) 방법을 제안한다.
• 학습된 레이블 임베딩을 사전 지침으로 사용해 주의 맵을 생성하는 교차 모달 주의(CMA)를 도입한다. 이는 해석 가능성과 관련성 향상에 기여한다.
• 시각적 특징을 공유 의미 공간으로 투영하여 시각적 특징과 레이블 임베딩 간의 교차 모달 정렬을 가능하게 한다.
• 카테고리별 주의 맵을 사용해 시각적 특징을 집계하고, 이를 최종 분류기 헤드를 통해 분류한다.
• ASGE와 CMA 모듈을 엔드 투 엔드로 통합하여 특징과 레이블 표현을 공동으로 학습하는 공동 최적화 프레임워크를 적용한다.
• ASGE 학습을 위한 안내 기법을 적용하고, 이미지 및 영상 벤치마크에서 모두 SGD와 모멘텀을 사용해 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 레이블 간 관계를 명시적으로 모델링하면 다중 레이블 이미지 분류 성능이 향상되는가?
• RQ2 학습된 의미적 레이블 임베딩으로 안내된 주의 메커니즘은 표준 자기 주의보다 더 분류 가능한 이미지 영역을 더 정확히 국소화하는가?
• RQ3 제안된 CMA 메커니즘은 시간적 종속성이 있는 영상 분류 작업에 효과적으로 일반화되는가?
• RQ4 의미적 그래프 임베딩의 통합이 다중 레이블 분류에서 공간적 또는 시간적 맥락 모델링을 어떻게 향상시키는가?

주요 결과

• MS-COCO 데이터셋에서 제안된 방법은 mAP 83.8%를 기록하여 이전 최신 기술(SOTA) 방법(MS-CMA)보다 0.4 포인트 높은 성능을 달성한다.
• NUS-WIDE 데이터셋에서 방법은 뛰어난 일반화 능력을 보이며, 다양한 다중 레이블 벤치마크에서 최신 기술 성능을 달성한다.
• YouTube-8M Segments 데이터셋에서 CMA 모델은 SNet 기반 아키텍처를 사용해 mAP 55.8%를 기록하며, 자기 주의 기반 모델보다 2.6 포인트 높은 성능을 보였다.
• 시각화 결과는 CMA 주의 맵이 의미적으로 관련된 영역에 더 정확하게 집중하는 것으로 나타났다. 예를 들어, 둘 다 의미적으로 유사하므로 테니스 라켓과 볼을 동시에 주의 집중한다.
• 관련 레이블에서 유도된 맥락적 단서를 활용해 작은 또는 구분하기 어려운 물체를 탐지하는 데 있어 모델이 강건함을 입증했다.
• 제거 분석 결과, CMA 메커니즘이 표준 자기 주의보다 성능을 크게 향상시키며, 오디오나 앙상블 없이 프레임 수준 특징만 사용할 때에도 마찬가지로 성능 향상이 확인되었다.