[논문 리뷰] Data for "Multi-Label Learning from Single Positive Labels" (CVPR 2021)

Elijah Cole|Zenodo (CERN European Organization for Nuclear Research)|2021. 06. 17.

Text and Document Classification Technologies인용 수 5

한 줄 요약

이 논문은 한 장의 이미지당 하나의 양성 레이블만을 사용하여 다중 레이블 이미지 분류를 위한 새로운 손실 함수, ROLE(레이블의 임베딩에서의 복원)을 제안한다. 음성 레이블이 확인되지 않은 상황에서도, 완전히 레이블링된 학습과 경쟁 가능한 성능을 달성함으로써, 최소한의 애너테이션으로도 효과적인 다중 레이블 학습이 가능하다는 것을 입증한다.

ABSTRACT

<p>Data for "Multi-Label Learning from Single Positive Labels" (CVPR 2021). </p>

연구 동기 및 목표

• 높은 애너테이션 비용과 음성 레이블의 흔한 오류로 인해 이미지당 하나의 양성 레이블만 이용 가능한 상황에서 다중 레이블 이미지 분류기 훈련의 과제를 해결한다.
• 확인된 음성 레이블이 전혀 없는 조건에서 효과적인 다중 레이블 학습이 가능한지 탐구한다.
• 훈련 중에 누락된 양성 레이블을 추정하는 새로운 훈련 목표를 개발하고 평가하여, 희박한 supervision에도 불구하고 일반화 능력을 향상시킨다.
• 여러 기준 데이터셋에서 단일 양성 레이블 설정에서 기존 및 신규 다중 레이블 손실 함수들을 비교한다.
• 최소한의 supervision으로도 완전 supervision 성능에 가까운 성능을 달성할 수 있음을 보여주어, 대규모 다중 레이블 데이터셋의 비용 효율적인 데이터 수집을 가능하게 한다.

제안 방법

• 이미지 특징에서 전체 레이블 행렬을 추정하는 미분 가능한 레이블 추정기 $g$를 사용하여, 훈련 중에 전체 레이블 행렬을 추정하는 새로운 훈련 손실 $γ_{\text{ROLE}}$을 제안한다.
• 기본 다중 레이블 손실(예: BCE, 가정 음성)을 단일 양성 설정으로 확장하며, 레이블 스무딩 변형도 포함한다.
• 이미지 특징에서 전체 $N \times L$ 레이블 행렬을 예측하는 레이블 추정기 $g$를 도입하여, 기울기 역전파를 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 이중 단계 훈련 전략을 사용한다: 먼저 고정된 특징에서 선형 분류기와 레이블 추정기를 훈련한 후, 초기 몇 에포크 동안 백본을 고정한 채로 엔드 투 엔드 미세조정을 수행한다.
• 특히 단일 양성 설정에서 일반화 능력을 향상시키기 위해, 가정 음성 기반 모델($\mathcal{L}_{\text{AN-LS}}$)에 레이블 스무딩을 적용한다.
• 훈련 중에 메모리에 전체 레이블 행렬 $g$를 저장하고 업데이트하며, 더 큰 환경에서는 인자 분해 또는 신경망 기반 근사가 가능하다.

실험 결과

연구 질문

• RQ1 이미지당 하나의 양성 레이블만을 사용하여 훈련할 경우, 다중 레이블 이미지 분류기가 완전 supervision 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 특히 확인된 음성 레이블이 없는 조건에서, 다양한 다중 레이블 손실 함수의 성능은 어떻게 되는가?
• RQ3 학습 중에 학습된 레이블 추정기로 누락된 양성 레이블을 얼마나 잘 복원할 수 있으며, 이는 최종 분류 정확도 향상에 기여하는가?
• RQ4 특히 초기 엔드 투 엔드 훈련 단계에서 백본을 고정하는 초기화 전략의 선택이 단일 양성 설정에서 모델 성능에 영향을 미치는가?
• RQ5 레이블 스무딩은 단일 양성 설정에서 일반화에 어떤 영향을 미치며, 이는 이 문제의 강력한 베이스라인으로 기능할 수 있는가?

주요 결과

• $γ_{\text{ROLE}}$ 손실은 PASCAL VOC 2012에서 전체 레이블링 훈련($\mathcal{L}_{\text{BCE}}$)과 유사한 테스트 MAP 성능을 달성했으며, 레이블 수의 1/20만을 사용함에도 불구하고 성능을 유지했다.
• 레이블 스무딩을 적용한 가정 음성 손실($\mathcal{L}_{\text{AN-LS}}$)은 단일 양성 설정에서 표준 가정 음성 및 표준 BCE보다 뛰어난 성능을 보였으며, 강력한 베이스라인으로 기능한다.
• qualitative 분석을 통해 그림 2에 나타낸 바와 같이, $γ_{\text{ROLE}}$ 손실은 $\mathcal{L}_{\text{AN-LS}}$보다 진짜로 관측되지 않은 레이블 행렬을 더 잘 복원한다.
• 더 나은 레이블 복원에도 불구하고, $γ_{\text{ROLE}}$이 항상 $\mathcal{L}_{\text{AN-LS}}$보다 높은 테스트 MAP 성능을 내는 것은 아니며, 레이블 복원이 항상 테스트 성능 향상으로 이어지는 것은 아님을 시사한다.
• 초기화 전략이 성능에 큰 영향을 미친다: 엔드 투 엔드 훈련의 초기 몇 에포크 동안 백본을 고정하는 것이 $γ_{\text{ROLE}}$과 $γ_{\text{AN-LS}}$ 양쪽 모두에서 성능을 크게 향상시킨다.
• 이 방법은 네 가지 다양한 다중 레이블 데이터셋에 걸쳐 일반화되며, 도메인 이동과 다양한 레이블 희박성에 대해 강건함을 보였다.