[논문 리뷰] Multi-Label Image Classification with Contrastive Learning

Son D. Dao, Ethan Zhao외 2명|arXiv (Cornell University)|2021. 07. 24.

Text and Document Classification Technologies참고 문헌 47인용 수 16

한 줄 요약

이 논문은 다중 레이블 이미지 분류를 위한 새로운 대비 학습 프레임워크인 MulCon을 제안한다. 이 프레임워크는 다중 헤드 어텐션을 사용해 레이블별로 특화된 이미지 표현을 학습함으로써, 각 레이블에 대해 효과적인 양성/음성 샘플 정의를 가능하게 한다. 이중 정책(이진 교차 엔트로피와 감독 대비 손실의 조합)을 사용해 훈련함으로써 MulCon은 COCO 및 NUS-WIDE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently, as an effective way of learning latent representations, contrastive learning has been increasingly popular and successful in various domains. The success of constrastive learning in single-label classifications motivates us to leverage this learning framework to enhance distinctiveness for better performance in multi-label image classification. In this paper, we show that a direct application of contrastive learning can hardly improve in multi-label cases. Accordingly, we propose a novel framework for multi-label classification with contrastive learning in a fully supervised setting, which learns multiple representations of an image under the context of different labels. This facilities a simple yet intuitive adaption of contrastive learning into our model to boost its performance in multi-label image classification. Extensive experiments on two benchmark datasets show that the proposed framework achieves state-of-the-art performance in the comparison with the advanced methods in multi-label classification.

연구 동기 및 목표

• 표준 이미지 수준 표현이 다중 레이블로 인해 의미 있는 양성/음성 샘플 정의가 어려운 다중 레이블 이미지 분류에 대비 학습을 적용하는 데 도전하는 것.
• 다중 레이블 환경에서 특징의 구분 능력을 향상시키기 위해, 레이블에 민감한 독립적인 이미지 표현을 학습하는 프레임워크를 설계하는 것.
• 어텐션 기반 기법을 활용해 이미지를 레이블별로 특화된 구성요소로 분해함으로써, 다중 레이블 환경에서 감독 대비 학습을 가능하게 하는 것.
• 적절한 단계별 훈련 전략을 적용할 경우 대비 학습이 다중 레이블 분류 성능을 향상시키는지 경험적으로 검증하는 것.

제안 방법

• 글로벌 클래스별 특수 임베딩과 로컬 CNN 특징에 다중 헤드 어텐션을 적용해 레이블 수준의 임베딩을 도입함으로써, 각 레이블에 특화된 표현을 생성한다.
• 레이블 수준의 임베딩에 대해 양성 샘플을 같은 레이블을 공유하는 미니배치 내 다른 이미지로 정의하고, 음성 샘플을 그 레이블을 갖지 않는 이미지로 정의한다.
• 레이블 수준의 임베딩에 감독 대비 손실(SCL)을 적용하여, 임베딩 공간에서 양성 샘플은 가까이, 음성 샘플은 멀리 떨어지도록 유도한다.
• 이중 훈련 절차를 사용한다: 먼저 레이블 수준의 임베딩에서 이진 교차 엔트로피 손실로 사전 훈련을 수행하고, 이후 BCE와 SCL 손실을 모두 사용해 미세 조정한다.
• 이미지 인코더가 입력을 처리하고, 레이블 수준의 임베딩 헤드가 어텐션을 통해 각 레이블의 표현을 생성하는 이중 브랜치 네트워크 아키텍처를 사용한다.
• 대비 손실을 활용해 동일한 레이블에 속하는 이미지 간 표현의 일관성과 통일성을 향상시켜, 후속 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 이미지 수준 표현이 다중 레이블로 인해 양성/음성 샘플 정의가 모호해지는 다중 레이블 이미지 분류에 대비 학습을 효과적으로 적용할 수 있는가?
• RQ2 레이블별로 특화된 이미지 표현을 학습하면 다중 레이블 환경에서 특징의 구분 능력과 분류 정확도가 향상되는가?
• RQ3 다중 레이블 작업에서 레이블 상관관계 학습을 방해하지 않으면서 대비 학습의 성능 향상을 이끌 수 있는 훈련 전략은 무엇인가?
• RQ4 레이블 수준의 임베딩은 이미지 수준의 표현에 비해 개별 레이블과 관련된 의미적 내용을 얼마나 잘 포착하는가?

주요 결과

• MulCon은 MS-COCO 및 NUS-WIDE에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들을 능가한다.
• 제거 분석 결과, 레이블 수준의 임베딩 네트워크만으로도 대비 손실 없이 mAP가 80.8에서 83.0으로 향상됨을 보여주며, 그 효과를 입증한다.
• 이미지 수준 특징에 직접 SCL를 적용하면 성능 향상이 미미함(80.8 vs 81.0 mAP), 표준 다중 레이블 환경에서는 이로 인한 이점이 제한적임을 시사한다.
• SCL를 처음부터 적용하면 성능이 악화됨(81.1 mAP), 이는 초기 단계에서의 대비 학습이 레이블 상관관계 학습을 희생시키며 구분 능력을 과도하게 강조할 수 있음을 시사한다.
• 이중 훈련 정책—BCE로 사전 훈련 후 BCE+SCL로 미세 조정—이 최고의 성능을 달성하며, 이 정책의 필수성을 확인한다.
• 정성적 결과는 어텐션 맵이 참조 레이블에 해당하는 객체를 정확히 국소화하며, 레이블 수준의 임베딩을 사용한 이미지 검색이 의미적으로 관련 있는 이미지를 성공적으로 검색함을 보여준다.