[논문 리뷰] CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification

Siddhant Kharbanda, Atmadeep Banerjee외 2명|arXiv (Cornell University)|2022. 10. 29.

Text and Document Classification Technologies인용 수 5

한 줄 요약

CascadeXML는 극단적 다중라벨 분류(XMC)를 위한 종단간 다중해상도 학습 프레임워크를 제안하며, 트랜스포머의 계층적 어텐션 메커니즘을 활용해 라벨 트리의 각 해상도 수준에서 고유한 특징 표현을 학습한다. 해상도별로 별도의 어텐션 맵과 별도의 지도를 사용해 단일 트랜스포머 인코더를 훈련함으로써, 최대 300만 개의 라벨을 가진 데이터셋에서 기존의 XR-Transformer나 LightXML와 같은 방법들을 능가하는 최신 기술 성능을 달성한다. 반복적 재클러스터링이나 공유 어텐션 헤드 없이도 성능을 향상시킨다.

ABSTRACT

Extreme Multi-label Text Classification (XMC) involves learning a classifier that can assign an input with a subset of most relevant labels from millions of label choices. Recent approaches, such as XR-Transformer and LightXML, leverage a transformer instance to achieve state-of-the-art performance. However, in this process, these approaches need to make various trade-offs between performance and computational requirements. A major shortcoming, as compared to the Bi-LSTM based AttentionXML, is that they fail to keep separate feature representations for each resolution in a label tree. We thus propose CascadeXML, an end-to-end multi-resolution learning pipeline, which can harness the multi-layered architecture of a transformer model for attending to different label resolutions with separate feature representations. CascadeXML significantly outperforms all existing approaches with non-trivial gains obtained on benchmark datasets consisting of up to three million labels. Code for CascadeXML will be made publicly available at \url{https://github.com/xmc-aalto/cascadexml}.

연구 동기 및 목표

• 기존 XMC 방법들이 라벨 트리의 각 수준에서 별도의 해상도 특화 특징 표현을 유지하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 메타라벨 선별과 극단적 분류를 위한 단일 트랜스포머 모델의 종단간 훈련을 가능하게 하여 반복적 재클러스터링이나 고정된 특징 추출을 피하기 위해.
• 다중층 어텐션을 활용해 서로 다른 해상도에 맞게 특징을 학습함으로써 초대규모 데이터셋(최대 300만 라벨)에서 성능을 향상시키기 위해.
• LightXML과 같은 종단간 모델에서 관찰된 메타-및 극단적 분류 작업 간 간섭 문제를 해상도별로 특징 표현을 분리함으로써 완화하기 위해.
• 가장 세밀한(극단적) 해상도에서 고품질의 표현을 유지하면서도 더 넓은 수준에서 효과적인 선별을 가능하게 하기 위해.

제안 방법

• CascadeXML는 계층적 라벨 트리(HLT)의 각 해상도 수준에 대해 별도의 분류 헤드를 갖춘 단일 트랜스포머 인코더를 사용한다.
• 해상도별로 학습되는 별도의 어텐션 맵을 사용하여 굵은 티끌과 세밀한 라벨 예측에 대해 서로 다른 어텐션 패턴을 가능하게 한다.
• 다중 작업 목적함수를 사용해 모든 헤드를 동시에 훈련하며, 극단적 해상도 헤드의 기울기가 모든 레이어를 통해 전파되고, 더 넓은 수준의 작업은 오직 초기 레이어에만 영향을 미친다.
• 중간 트랜스포머 레이어의 특징 표현은 더 넓은 수준에서의 선별에 사용되며, 최종 레이어는 극단적 분류에 최적화된다.
• XR-Transformer의 반복적 파이프라인과 달리, 모든 구성 요소를 종단간으로 훈련함으로써 중간 단계의 재클러스터링이나 특징 고정을 피한다.
• 정적 사전 계산된 클러스터 대신 어텐션을 통해 동적으로 라벨 선별 목록을 학습하며, 더 정교하지 않은 중간 특징에서도 높은 재현율을 유지한다.

실험 결과

연구 질문

• RQ1 단일 트랜스포머 모델이 극단적 다중라벨 분류에서 라벨 계층의 여러 수준에서 효과적으로 별도의 해상도 특화 어텐션 패턴을 학습할 수 있는가?
• RQ2 각 해상도에 대해 별도의 지도를 사용하는 종단간 훈련이 공유 어텐션 또는 단일 수준 모델 대비 성능을 향상시키는가?
• RQ3 중간 트랜스포머 레이어가 메타분류 작업에 충분한 표현 품질을 제공할 수 있는가? 동시에 최종 레이어의 표현은 극단적 분류에 최적화되어 있는가?
• RQ4 제안된 다중해상도 훈련 방식은 정확도와 훈련 효율성 측면에서 반복적 또는 고정된 특징 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ5 해상도별로 특징 표현을 분리함으로써 메타라벨 선별과 극단적 분류 작업 간의 간섭을 어느 정도 완화할 수 있는가?

주요 결과

• CascadeXML는 최대 300만 개의 라벨을 가진 벤치마크 XMC 데이터셋에서 최신 기술 성능을 달성하며, 이는 XR-Transformer나 LightXML와 같은 기존 방법들을 크게 능가한다.
• 모델은 해상도별로 특화된 어텐션 맵이 다양한 수준에서 상당히 다른 어텐션 패턴을 유도함을 보여주며, 별도의 어텐션 헤드 설계의 타당성을 입증한다.
• 중간 트랜스포머 레이어를 더 넓은 수준에서, 최종 레이어를 극단적 분류에 사용함으로써 CascadeXML는 가장 세밀한 해상도에서 고품질의 표현을 유지하면서도 선별의 재현율을 손상시키지 않는다.
• 종단간 훈련 방식은 반복적 재클러스터링이나 특징 고정이 필요 없게 하여 XR-Transformer의 다단계 파이프라인 대비 훈련을 단순화하고 추론 속도를 향상시킨다.
• 더 정교하지 않은 중간 특징에서도 라벨 선별의 높은 재현율을 달성함으로써, 메타작업은 극단적 분류만큼 표현 품질에 민감하지 않다는 점을 확인한다.
• 부록 B의 실험 결과는 서로 다른 해상도에서 학습된 어텐션 맵이 유의미하게 다름을 보이며, 서로 다른 작업에 다른 어텐션 패턴이 필요하다는 가설을 지지한다.