[논문 리뷰] Hyperbolic Interaction Model For Hierarchical Multi-Label Classification

Boli Chen, Xin Huang외 3명|arXiv (Cornell University)|2019. 05. 26.

Text and Document Classification Technologies참고 문헌 45인용 수 9

한 줄 요약

이 논문은 계층적 다중 레이블 텍스트 분류를 위한 새로운 방법인 하이퍼볼릭 상호작용 모델(HyperIM)을 제안한다. 이 모델은 단어와 레이블을 하이퍼볼릭 공간에 함께 임bedding하여 계층적 구조를 유지한다. 하이퍼볼릭 공간의 나무 모양 기하학적 특성을 활용함으로써, 레이블 인식 문서 표현 학습을 향상시키고, 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 유클리드 기반 모델 및 기존 방법들을 능가한다.

ABSTRACT

Different from the traditional classification tasks which assume mutual exclusion of labels, hierarchical multi-label classification (HMLC) aims to assign multiple labels to every instance with the labels organized under hierarchical relations. Besides the labels, since linguistic ontologies are intrinsic hierarchies, the conceptual relations between words can also form hierarchical structures. Thus it can be a challenge to learn mappings from word hierarchies to label hierarchies. We propose to model the word and label hierarchies by embedding them jointly in the hyperbolic space. The main reason is that the tree-likeness of the hyperbolic space matches the complexity of symbolic data with hierarchical structures. A new Hyperbolic Interaction Model (HyperIM) is designed to learn the label-aware document representations and make predictions for HMLC. Extensive experiments are conducted on three benchmark datasets. The results have demonstrated that the new model can realistically capture the complex data structures and further improve the performance for HMLC comparing with the state-of-the-art methods. To facilitate future research, our code is publicly available.

연구 동기 및 목표

• 다중 레이블 텍스트 분류에서 복잡한 계층적 레이블 구조를 모델링하는 데 도전하는 것.
• 하이퍼볼릭 공간의 본질적인 나무 모양 기하학적 특성을 활용하여 계층적 다중 레이블 분류(HMLC)의 성능을 향상시키는 것.
• 하이퍼볼릭 공간에서의 공동 임베딩을 통해 단어-레이블 의미적 연결을 명시적으로 모델링하는 것.
• 부분적 상호작용과 음성 샘플링을 통해 대규모 레이블 공간에서의 계산 비용을 줄이는 것.
• 비교 및 실증 평가를 통해 하이퍼볼릭 공간이 HMLC에 있어 유클리드 공간보다 우월한지를 입증하는 것.

제안 방법

• HyperIM는 하이퍼볼릭 공간의 파오카레 볼 모델을 사용하여 문서 단어와 레이블을 함께 임베딩하여 계층적 관계를 유지한다.
• 단어와 레이블 간의 의미적 유사도를 계산하기 위해 하이퍼볼릭 공간 내에서 모비우스 덧셈과 지지오데식 거리를 사용한다.
• 임bedded 벡터에 스코어 함수를 적용하여 단어-레이블 유사도를 집계함으로써 레이블 인식 문서 표현을 구성한다.
• 대규모 레이블 집합에 대한 확장성을 향상시키기 위해 부분적 상호작용과 음성 샘플링을 적용한다.
• 하이퍼볼릭 공간에서 모델 파라미터를 학습하기 위해 리만형 적응 최적화를 사용하며, 기울기를 하이퍼볼릭 메트릭을 통해 재스케일링한다.
• 예측은 진짜 레이블 확률 벡터와 예측된 레이블 확률 벡터 간의 교차 엔트로피 손실을 최소화함으로써 수행된다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 공간은 유클리드 공간에 비해 다중 레이블 텍스트 분류에서 계층적 레이블 구조를 더 잘 표현할 수 있는가?
• RQ2 하이퍼볼릭 공간에서 단어와 레이블을 공동으로 임베딩하면 레이블 인식 문서 표현 학습이 향상되는가?
• RQ3 제안된 HyperIM 모델은 계층적 다중 레이블 분류 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?
• RQ4 부분적 상호작용과 음성 샘플링의 사용이 대규모 레이블 공간에서 확장성과 성능에 어떤 영향을 미치는가?
• RQ5 하이퍼볼릭 기하학을 통해 계층적 구조를 유지함으로써 HMLC에서 꼬리 레이블의 오류는 어느 정도 감소하는가?

주요 결과

• HyperIM는 세 가지 기준 HMLC 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 모든 평가 지표에서 기존 방법들을 능가한다.
• 제거 분석을 통해 하이퍼볼릭 공간이 유클리드 공간보다 성능을 크게 향상시키며, 특히 계층적 레이블 상관관계를 포착하는 데서 뚜렷한 우월성이 입증되었다.
• 시각화 결과 하이퍼볼릭 임베딩은 명확한 계층적 경로를 유지하는 반면, 유클리드 임베딩은 교차하는 경로를 보여 계층적 관계를 흐린다.
• 하이퍼볼릭 기하학에서 유도되는 더 나은 구조적 인도적 편향 덕분에 희귀 꼬리 레이블로부터 효과적으로 학습할 수 있었다.
• 음성 샘플링과 부분적 상호작용은 성능을 손상시키지 않은 채 메모리 사용량을 줄이고 학습 효율성을 향상시켰다.
• 하이퍼볼릭 공간에서의 단어-레이블 공동 임베딩은 문서와 레이블 간의 더 정확하고 해석 가능한 의미적 유사도 측정을 가능하게 하였다.