[논문 리뷰] Learning Category Correlations for Multi-label Image Recognition with Graph Networks

Qing Li, Xiaojiang Peng외 2명|arXiv (Cornell University)|2019. 09. 28.

Text and Document Classification Technologies참고 문헌 40인용 수 18

한 줄 요약

이 논문은 단어 임bedding과 1×1 컨볼루션을 사용하여 다중 레이블 이미지 인식을 위한 적응형 레이블 상관관계 그래프를 학습하는 새로운 그래프 신경망 프레임워크 A-GCN을 제안한다. 희소 상관관계 제약 조건과 즉시 사용 가능한 레이블 그래프 모듈을 도입함으로써, A-GCN은 기준 방법들을 능가하고 MS-COCO와 Fashion550K에서 최신 기술 수준의 성능을 달성하여 MS-COCO에서 ResNet101 대비 mAP를 2.8% 향상시켰다.

ABSTRACT

Multi-label image recognition is a task that predicts a set of object labels in an image. As the objects co-occur in the physical world, it is desirable to model label dependencies. Previous existing methods resort to either recurrent networks or pre-defined label correlation graphs for this purpose. In this paper, instead of using a pre-defined graph which is inflexible and may be sub-optimal for multi-label classification, we propose the A-GCN, which leverages the popular Graph Convolutional Networks with an Adaptive label correlation graph to model label dependencies. Specifically, we introduce a plug-and-play Label Graph (LG) module to learn label correlations with word embeddings, and then utilize traditional GCN to map this graph into label-dependent object classifiers which are further applied to image features. The basic LG module incorporates two 1x1 convolutional layers and uses the dot product to generate label graphs. In addition, we propose a sparse correlation constraint to enhance the LG module and also explore different LG architectures. We validate our method on two diverse multi-label datasets: MS-COCO and Fashion550K. Experimental results show that our A-GCN significantly improves baseline methods and achieves performance superior or comparable to the state of the art.

연구 동기 및 목표

• 다중 레이블 이미지 인식에서 사전 정의된, 유연하지 못한 레이블 상관관계 그래프의 한계를 해결하기 위해.
• 데이터 기반으로, 엔드 투 엔드로 학습 가능한 방식으로 의미론적 레이블 의존성을 모델링하기 위해.
• 단어 임베딩에서 유도된 동적이고 적응형 레이블 상관관계를 학습하여 다중 레이블 분류 성능을 향상시키기 위해.
• 과도한 스무스닝을 방지하기 위해 희소 상관관계 제약 조건을 사용하여 일반화 능력과 강건성을 향상시키기 위해.
• 레이블 동시 발생 패턴을 포착하는 데 있어 다양한 레이블 그래프 아키텍처의 효과를 평가하기 위해.

제안 방법

• 단어 임베딩에서 적응형 레이블 상관관계 그래프를 생성하기 위해 두 개의 1×1 컨볼루션 레이어와 내적 연산을 사용하는 즉시 사용 가능한 레이블 그래프(LG) 모듈을 도입한다.
• 학습된 레이블 그래프를 레이블 기반 분류기로 매핑하기 위해 그래프 컨볼루션 네트워크(GCN)를 활용하며, 이를 이미지 특징에 적용한다.
• 학습된 상관관계 행렬과 항등행렬 간의 L1-노름 손실을 사용하여 희소 상관관계 제약 조건을 적용함으로써 희소성과 과도한 스무스닝 감소를 유도한다.
• 완전 연결형 및 어텐션 기반 변종과 같은 다양한 대체 LG 아키텍처를 탐색하여 강건성과 성능을 평가한다.
• 분류 손실과 희소 상관관계 정규화를 포함하는 복합 손실 함수를 사용하여 전체 모델을 엔드 투 엔드로 학습한다.
• 레이블 간 의미적 관계를 수동으로 설계된 그래프에 의존하지 않고, 단어 임베딩을 LG 모듈의 입력으로 사용하여 레이블 간의 의미적 관계를 인코딩한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 학습 가능한 적응형 레이블 상관관계 그래프가 고정되거나 사전 정의된 그래프를 초월하여 다중 레이블 이미지 인식 성능을 향상시킬 수 있는가?
• RQ2 희소 상관관계 제약 조건은 레이블 그래프 학습에서 과도한 스무스닝을 방지하고 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 다양한 레이블 그래프 아키텍처(예: FC, 어텐션 기반)는 다중 레이블 인식에서 의미 있는 성능 차이를 초래하는가?
• RQ4 제안된 A-GCN 프레임워크는 레이블 동시 발생 패턴이 다양한 다양한 데이터셋에 일반화되는가?
• RQ5 표준 GCN나 기준 CNN 대비 적응형 그래프가 성능 향상에 얼마나 기여하는가?

주요 결과

• A-GCN은 MS-COCO에서 기준 ResNet101의 mAP 80.3%를 83.1%로 향상시켜 최신 기술 수준의 ML-GCN 방법을 능가한다.
• 희소 상관관계 제약 조건(L_A)은 과도한 스무스닝을 줄여 성능을 향상시키며, 최적의 α=1.0에서 성능이 최고로 나타나고, 높은 값은 성능 저하를 초래한다.
• LG 모듈의 FC-A 아키텍처가 대안들 중에서 가장 뛰어난 성능을 기록하며, 기본 1×1 컨볼루션 기반 설계를 능가한다.
• Fashion550K에서는 청소된 데이터로 미세조정한 결과 mAP 66.32%를 기록하여 기준 성능보다 3.4% 향상되었고, 재현된 ML-GCN을 능가했다.
• 시각화 결과에서 공존하는 물체 카테고리(예: 숟가락, 배낭, 칫솔)에서 뚜렷한 성능 향상이 관찰되어 레이블 의존성의 효과적인 학습을 확인했다.
• 모델은 다양한 학습 설정 하에서 MS-COCO와 Fashion550K 양쪽 모두에서 일관된 성능 향상을 보이며 우수한 일반화 능력을 입증했다.