[논문 리뷰] MlTr: Multi-label Classification with Transformer

Cheng Xing, Hezheng Lin외 6명|arXiv (Cornell University)|2021. 06. 11.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 다중 레이블 이미지 분류를 위한 새로운 트랜스포머 기반 아키텍처인 MlTr를 제안한다. 이는 CNN의 한계를 해결하기 위해 작은 물체, 유사한 물체, 공존하는 물체 간의 종속성 문제를 다룬다. 윈도우 분할, 윈도우 내 픽셀 주의, 그리고 윈도우 간 주의를 통합함으로써 MlTr는 MS-COCO에서 88.5% mAP, Pascal-VOC에서 95.8%, NUS-WIDE에서 66.3%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The task of multi-label image classification is to recognize all the object labels presented in an image. Though advancing for years, small objects, similar objects and objects with high conditional probability are still the main bottlenecks of previous convolutional neural network(CNN) based models, limited by convolutional kernels' representational capacity. Recent vision transformer networks utilize the self-attention mechanism to extract the feature of pixel granularity, which expresses richer local semantic information, while is insufficient for mining global spatial dependence. In this paper, we point out the three crucial problems that CNN-based methods encounter and explore the possibility of conducting specific transformer modules to settle them. We put forward a Multi-label Transformer architecture(MlTr) constructed with windows partitioning, in-window pixel attention, cross-window attention, particularly improving the performance of multi-label image classification tasks. The proposed MlTr shows state-of-the-art results on various prevalent multi-label datasets such as MS-COCO, Pascal-VOC, and NUS-WIDE with 88.5%, 95.8%, and 65.5% respectively. The code will be available soon at https://github.com/starmemda/MlTr/

연구 동기 및 목표

• 다중 레이블 이미지 분류의 세 가지 핵심 과제를 규명하고 해결하기: 작은 물체 인식, 유사한 물체 간 혼동, 빈번한 공존으로 인한 잘못된 분류.
• CNN의 인덕티브 바이어스와 다중 레이블 환경에서의 장거리 의존성 학습 한계를 극복하기.
• 다중 레이블 작업에 특화된 트랜스포머 기반 아키텍처를 설계하여 글로벌 및 로컬 특징 표현을 향상시키기.
• 로컬 영역 간 공간적 종속성 모델링을 향상시키기 위해 새로운 주의 메커니즘인 윈도우 간 주의를 도입하기.
• 물체 인식 토큰과 최적화된 손실 함수(예: 아크 시그모이드)를 통해 모델 일반화 능력을 향상시키기.

제안 방법

• 입력 이미지를 겹치지 않는 윈도우로 분할하여 국소적 계산을 가능하게 하면서도 공간적 구조를 유지한다.
• 각 윈도우에 대해 인tra-윈도우 자기 주의를 적용하여 세밀한 픽셀 수준의 표현을 캡처하고 작은 물체를 국소화한다.
• 다른 윈도우 간의 특징을 융합하기 위해 윈도우 간 주의를 적용하여 장거리 공간적 종속성을 모델링하고 국소 예측의 모호함을 해소한다.
• 최종 레이어에 물체 인식 토큰을 도입하여 예측 레이블 수를 동적으로 결정함으로써 다양한 레이블 수에 대한 적응성을 향상시킨다.
• 특징 임bedding 간余弦 유사도를 스케일링하여 학습을 안정화시키기 위해 아크 시그모이드 손실 함수를 사용하며, 최적의 성능을 내기 위해 스케일링 인자 s=8를 설정한다.
• 최종 특징 분포를 개선하고 일반화 능력을 향상시키기 위해 이진 교차 엔트로피와 아크 시그모이드 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처는 CNN 기반 특징 추출 과정에서 자주 손실되는 작은 물체를 어떻게 더 잘 다룰 수 있는가?
• RQ2 윈도우 간 주의는 백팩과 핸드백과 같이 매우 유사한 물체를 구분하는 능력을 얼마나 향상시킬 수 있는가?
• RQ3 전역 공간 관계를 캡처하는 자기 주의 메커니즘은 특정 물체 클래스의 빈번한 공존으로 인한 잘못된 분류를 줄이는 데 얼마나 기여하는가?
• RQ4 물체 인식 토큰의 통합은 다중 레이블 환경에서 레이블 수가 변동하는 상황에서 모델의 예측 능력에 어떤 영향을 미치는가?
• RQ5 다중 레이블 분류 작업에서 mAP를 향상시키기 위해 아크 시그모이드 손실 함수의 최적 설정은 무엇인가?

주요 결과

• MlTr는 MS-COCO 데이터셋에서 88.5% mAP를 달성하여 이전 최신 기술 수준(SOTA) 방법보다 유의미한 성능 향상을 보였다.
• Pascal-VOC에서 MlTr는 95.8% mAP를 기록하여 다양한 물체 카테고리와 복잡한 장면에서도 강력한 일반화 능력을 입증했다.
• NUS-WIDE에서 MlTr는 66.3% mAP를 달성했으며, CF1(65.0)과 OF1(75.8)에서 개선되어 더 나은 레이블 일관성과 정밀도를 보였다.
• 제거 실험 결과, 윈도우 간 주의가 +1.0 mAP 기여를 하여 장거리 공간적 종속성 모델링에서 핵심적인 역할을 한다는 점을 입증했다.
• 작은 물체에 대해서는 MlTr가 ResNet101의 68.8에서 77.6으로 mAP를 향상시켜 거의 10포인트의 향상을 기록했으며, 세밀한 세부 사항 탐지 능력이 뛰어나다는 것을 확인했다.
• t-SNE를 통한 시각화 결과, MlTr가 유사한 물체 클래스(예: 스키 vs. 스노우보드, 리모컨 vs. 핸드폰)를 더 잘 분리하고 부정확한 공존 편향을 피하는 것으로 확인되었다.