[논문 리뷰] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework

Shu Zhang, Ran Xu외 2명|arXiv (Cornell University)|2022. 04. 27.

Text and Document Classification Technologies인용 수 11

한 줄 요약

이 논문은 모든 가용 레이블을 활용하고 학습된 표현에서 클래스 계층을 유지하는 계층적 다중 레이블 대비 학습 프레임워크인 HiMulConE를 제안한다. 계층 구조를 유지하는 손실 함수인 HiMulCon과 HiConE를 도입함으로써, 분류, 검색, 클러스터링과 같은 후행 작업에서 성능을 향상시키며, 특히 미리 보지 않은 데이터에서 기존의 지도 학습 및 자기지도 학습 기반 모델들을 능가한다. 이는 DeepFashion 및 ModelNet40 데이터셋에서의 성능을 통해 입증된다.

ABSTRACT

Current contrastive learning frameworks focus on leveraging a single supervisory signal to learn representations, which limits the efficacy on unseen data and downstream tasks. In this paper, we present a hierarchical multi-label representation learning framework that can leverage all available labels and preserve the hierarchical relationship between classes. We introduce novel hierarchy preserving losses, which jointly apply a hierarchical penalty to the contrastive loss, and enforce the hierarchy constraint. The loss function is data driven and automatically adapts to arbitrary multi-label structures. Experiments on several datasets show that our relationship-preserving embedding performs well on a variety of tasks and outperform the baseline supervised and self-supervised approaches. Code is available at https://github.com/salesforce/hierarchicalContrastiveLearning.

연구 동기 및 목표

• 기존의 대비 학습 방법들이 다중 레이블 클래스 간의 계층적 관계를 忽시하는 한계를 해결하기 위해.
• 계층적 레이블 구조를 포함한 모든 가용 감독 신호를 완전히 활용하는 표현 학습 프레임워크를 개발하기 위해.
• 임베딩 공간에서 레이블 간의 의미적 관계를 인코딩하여, 새로운 데이터와 후행 작업에 대한 일반화 성능을 향상시키기 위해.
• 계층적 레이블이 없을 경우 기존의 지도 학습 및 자기지도 학습 대비 학습으로 축소되는 통합 프레임워크를 구축하기 위해.

제안 방법

• 계층 내 각 레이블 간의 수준별 거리에 기반한 페널티를 적용하는 새로운 계층적 다중 레이블 대비 손실 함수인 HiMulCon을 제안한다.
• 트리 구조에서의 레이블 근접도를 반영하여 손실 크기가 레이블 간의 거리에 비례하도록 보장함으로써 계층 위반을 방지하는 계층 제약 강제 손실 함수인 HiConE를 도입한다.
• HiMulCon과 HiConE를 융합하여 하이브리드 손실 함수인 HiMulConE를 구성함으로써, 레이블 공간 내 근접성과 계층 일관성을 동시에 최적화한다.
• 각 노드가 클래스를 나타내고 간선이 부모-자식 관계를 의미하는 트리 구조 레이블 표현을 사용하여 다중 레이블 간의 종속성을 모델링한다.
• 표준 대비 학습 목표(양성 쌍 간의 거리 최소화 및 음성 쌍 간의 거리 최대화)를 유지하면서 계층 감독 신호를 통합한다.
• 결합된 손실을 사용하여 인코더 네트워크를 훈련시켜 계층적 의미를 유지하는 표현을 생성하며, 이후 미세조정 없이 후행 작업에 그대로 활용한다.

실험 결과

연구 질문

• RQ1 대비 학습 프레임워크가 계층적 다중 레이블 구조를 효과적으로 활용하여 표현 학습을 향상시킬 수 있는가?
• RQ2 손실 함수에 레이블 계층을 통합할 경우, 분류 및 검색과 같은 후행 작업 성능에 어떤 영향을 미치는가?
• RQ3 기존의 지도 학습 및 자기지도 학습 기반 모델들과 비교해 볼 때, 제안된 방법이 새로운 데이터와 후행 작업에 얼마나 잘 일반화되는가?
• RQ4 개별 구성 요소(HiMulCon 및 HiConE)는 성능에 어떤 기여를 하는가? 둘을 결합함으로써 얻는 이점은 무엇인가?

주요 결과

• HiMulConE는 이미지 분류 작업에서 기반 지도 학습 및 자기지도 학습 대비 학습 방법들을 능가하며, DeepFashion 및 ModelNet40의 새로운 분할에 대해 높은 정확도를 기록한다.
• DeepFashion 데이터셋에서 HiConE는 HiMulCon보다 더 뛰어난 성능을 보였으며, 특히 계층 수준 간의 의미적 겹침으로 인해, 새로운 분할에서 66.9%의 top-1 정확도를 달성했다.
• 새로운 데이터에 대한 이미지 검색에서, HiMulConE는 낮은 k 값에서 뛰어난 성능을 보이며, 관련 이미지의 검색 품질이 향상됨을 시사한다.
• 클러스터링 결과는 제품 NMI(카테고리 평균 NMI)에서의 뚜렷한 향상을 보이며, 하위 카테고리 수준에서 계층적 분리성이 유지됨을 입증한다.
• 모델는 새로운 데이터에 대해 잘 일반화된다: 본문에서 제시된 SupCon과 유사한 성능을 본문 데이터에서 기록하지만, 새로운 데이터에서는 훨씬 뛰어난 성능을 보이며, 계층 감독 신호에서 유도된 더 나은 인덕티브 바이어스를 확인한다.
• 계층적 레이블이 없을 경우, 프레임워크는 표준 SimCLR 및 SupCon으로 축소되며, 이는 후행 호환성과 일반성의 확인을 의미한다.