[논문 리뷰] Label Disentanglement in Partition-based Extreme Multilabel Classification

Xuanqing Liu, Wei-Cheng Chang외 3명|arXiv (Cornell University)|2021. 06. 24.

Text and Document Classification Technologies참고 문헌 29인용 수 5

한 줄 요약

이 논문은 분할 기반 극단적 다중라벨 분류(XMC)에서 라벨 분리 해석을 위한 최적화 기반 프레임워크를 제안하며, 정밀도 최대화를 통해 비상호 배타적이고 다중 모달 라벨 클러스터링을 가능하게 하여 정밀도 향상을 이룬다. 라벨 할당과 모델 파라미터를 정밀도 최대화를 통해 동시에 최적화함으로써, 최소한의 학습 및 추론 오버헤드로 네 가지 XMC 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Partition-based methods are increasingly-used in extreme multi-label classification (XMC) problems due to their scalability to large output spaces (e.g., millions or more). However, existing methods partition the large label space into mutually exclusive clusters, which is sub-optimal when labels have multi-modality and rich semantics. For instance, the label "Apple" can be the fruit or the brand name, which leads to the following research question: can we disentangle these multi-modal labels with non-exclusive clustering tailored for downstream XMC tasks? In this paper, we show that the label assignment problem in partition-based XMC can be formulated as an optimization problem, with the objective of maximizing precision rates. This leads to an efficient algorithm to form flexible and overlapped label clusters, and a method that can alternatively optimizes the cluster assignments and the model parameters for partition-based XMC. Experimental results on synthetic and real datasets show that our method can successfully disentangle multi-modal labels, leading to state-of-the-art (SOTA) results on four XMC benchmarks.

연구 동기 및 목표

• 분할 기반 XMC에서 상호 배타적 라벨 클러스터링의 한계를 해결하여, 라벨의 다중 모달 의미를 더 잘 포착할 수 있도록 한다.
• 라벨이 여러 클러스터에 속할 수 있도록 허용함으로써, 'Apple'이 과일 또는 브랜드일 수 있는 다중 모달 라벨의 분리 해석을 가능하게 한다.
• 정밀도를 최대화하는 최적화 문제로 라벨 할당을 공식화하여, 기존 XMC 모델과 엔드 투 엔드로 통합되고 플러그인 방식으로 적용할 수 있도록 한다.
• XR-Linear 및 X-Transformer와 같은 선도적인 XMC 방법의 성능을, 클러스터 할당과 모델 파라미터를 별도로 최적화함으로써 향상시킨다.

제안 방법

• 정밀도 최대화를 위해 라벨 클러스터링을 최적화 문제로 재정의하여, 라벨이 여러 클러스터에 할당될 수 있도록 한다.
• 라벨 할당과 모델 파라미터를 번갈아가며 업데이트하는 반복 알고리즘을 도입하며, 이는 할당 문제의 미분 가능 근사화를 사용한다.
• 클러스터 할당 행렬의 미분 가능 근사를 사용하여 클러스터링 단계를 역전파 가능하게 한다.
• 현재 모델 예측 기반으로 겹치는 라벨 클러스터 학습을 이끄는 정밀도 기반 목적 함수를 사용한다.
• XR-Linear 및 X-Transformer와 같은 기존 분할 기반 XMC 모델의 핵심 아키텍처를 수정하지 않고도 플러그인 방식으로 적용할 수 있다.
• 온도 조절 전략과 대안 최적화 루프(알고리즘 1)를 사용하여 클러스터 매핑과 매칭 모델을 함께 정교화한다.

실험 결과

연구 질문

• RQ1 겹치는 라벨 클러스터링이 상호 배타적 클러스터링보다 극단적 다중라벨 분류에서 다중 모달 의미를 더 잘 포착할 수 있는가?
• RQ2 라벨 분리 해석을 어떻게 정밀도를 향상시키는 최적화 문제로 공식화할 수 있는가?
• RQ3 라벨 할당과 모델 파라미터 학습을 미분 가능하고 확장 가능한 방식으로 동시에 최적화할 수 있는가?
• RQ4 제안된 방법은 라벨 공간 크기가 다양한 다양한 XMC 벤치마크에서 일관되게 성능 향상을 이룰 수 있는가?
• RQ5 기본 기반의 분할 기반 XMC 모델과 비교해 제안된 방법의 학습 및 추론 오버헤드는 어떠한가?

주요 결과

• 제안된 방법은 네 가지 XMC 벤치마크에서 새로운 최신 기술 수준(SOTA) 정밀도 성능을 달성하였으며, Amazon-3M에서 P@1이 47.51%에 이를 정도로 이전 SOTA를 초월한다.
• Amazon-3M에서 동일한 특징을 사용할 경우, 기준 XR-Linear 대비 P@1에서 0.77% 절대적 향상과 P@5에서 0.88% 향상을 기록한다.
• X-Transformer 기반으로 Amazon-3M에서 학습 시간에 1.1% 추가 오버헤드, 추론 시 21.1%의 오버헤드만 발생시켜 낮은 계산 비용을 입증한다.
• 대안 최적화(모델과 클러스터 할당의 동시 학습)를 통해 일관된 성능 향상이 이루어졌으며, 고정된 할당 대비 Amazon-3M에서 P@1이 0.43% 향상되었다.
• 특히 라벨 의미가 복잡한 대규모 데이터셋, 예를 들어 Amazon-3M에서는 라벨 분리 해석이 상당한 성능 향상을 이끌어내는 데 효과적이다.
• 제거 분석 결과, 성능 향상은 랜덤 할당이 아닌 정밀도 기반 클러스터링 덕분임을 확인하였으며, 랜덤 기반 베이스라인은 유의미하게 열등한 성능을 보였다.