[논문 리뷰] Efficient strategies for hierarchical text classification: External knowledge and auxiliary tasks

Kervy Rivas Rojas, Gina Bustamante외 2명|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 23인용 수 7

한 줄 요약

이 논문은 계층적 텍스트 분류를 향상시키기 위해 역계층 보조 작업을 도입하고, 벡터화된 클래스 정의를 통해 외부 지식을 통합함으로써 효율적이고 복잡도가 낮은 전략을 제안한다. 이와 같은 방법들을 시퀀스-투-시퀀스 모델과 결합함으로써, 이전 방법들보다 훨씬 적은 파라미터 수와 더 짧은 학습 시간으로 WOS와 DBpedia에서 최고의 정확도를 달성한다.

ABSTRACT

In hierarchical text classification, we perform a sequence of inference steps to predict the category of a document from top to bottom of a given class taxonomy. Most of the studies have focused on developing novels neural network architectures to deal with the hierarchical structure, but we prefer to look for efficient ways to strengthen a baseline model. We first define the task as a sequence-to-sequence problem. Afterwards, we propose an auxiliary synthetic task of bottom-up-classification. Then, from external dictionaries, we retrieve textual definitions for the classes of all the hierarchy's layers, and map them into the word vector space. We use the class-definition embeddings as an additional input to condition the prediction of the next layer and in an adapted beam search. Whereas the modified search did not provide large gains, the combination of the auxiliary task and the additional input of class-definitions significantly enhance the classification accuracy. With our efficient approaches, we outperform previous studies, using a drastically reduced number of parameters, in two well-known English datasets.

연구 동기 및 목표

• 최첨단 계층적 텍스트 분류(HTC) 모델의 높은 계산 비용 문제를 해결하기 위해, 아키텍처 외부의 효율적 개선 전략에 초점을 맞춘다.
• 모델 복잡도나 학습 시간을 늘리지 않고도 모델 성능을 향상시키는 것을 목표로 한다.
• 특히 클래스의 텍스트 정의를 외부 지식으로 통합하여 예측 과정에 통합하는 방법을 탐색한다.
• 역계층 보조 작업이 오차 역전파와 표현 학습을 개선하는 데 기여하는지 조사한다.
• 저자원 및 고자원 환경에서 여러 효율적 전략을 조합했을 때의 성능 변화를 평가한다.

제안 방법

• 문제를 시퀀스-투-시퀀스 학습 문제로 설정하여, 인코더가 입력 문서를 처리하고 디코더가 계층의 상단에서 하단으로 클래스 레이블을 생성한다.
• 오차 역전파의 균형을 맞추고 표현 학습을 향상시키기 위해, 예측 순서를 뒤집어 가장 구체적인 클래스에서 루트로 예측하는 보조 작업을 도입한다.
• 모든 클래스의 텍스트 정의는 외부 사전에서 검색하여 단어 벡터 공간에 임bedding하여 클래스 정의 벡터(CDVs)로 변환한다.
• CDVs는 부모 노드 조건화(PNC) 메커니즘을 통해 각 레이어의 예측을 조절함으로써, 각 디코딩 단계에서 외부 지식을 통합한다.
• CDVs를 활용해 후보 생성을 안내하는 수정된 비트 시퀀스 검색 기법을 도입하여 계층 경로 선택을 향상시킨다.
• 이러한 방법들을 결합하여 WOS와 DBpedia라는 두 가지 벤치마크 데이터셋에서 평가하며, 기여도를 분리하기 위한 추론 실험을 실시한다.

실험 결과

연구 질문

• RQ1 역계층 보조 작업이 계층적 텍스트 분류 성능을 향상시켜 계층 간 오차 역전파를 균형 있게 만들 수 있는가?
• RQ2 벡터화된 클래스 정의의 텍스트 정의를 외부 지식으로 통합하면 계층적 텍스트 분류의 정확도가 향상되는가?
• RQ3 보조 작업과 외부 지식의 조합이 기존 방법보다 파라미터 수가 적고 학습 시간이 짧은 상태에서 최첨단 성능을 달성할 수 있는가?
• RQ4 이러한 전략의 성능는 저자원 및 고자원 데이터셋 간에 어떻게 다를까?
• RQ5 지식 통합은 디코딩 단계에서 효과적으로 적용되어 계층 예측을 향상시킬 수 있는가?

주요 결과

• 보조 작업과 부모 노드 조건화(PNC)를 클래스 정의 임베딩과 조합함으로써, WOS 데이터셋에서 이전 최첨단 모델을 능가하는 최고의 정확도를 달성했다.
• DBpedia 데이터셋은 훨씬 더 많은 학습 샘플을 포함하고 있어, 외부 지식의 기여도는 다소 미미한 편이었으며, 이는 대규모 데이터셋에서는 외부 지식의 상대적 이점이 감소함을 시사한다.
• 제안된 방법들은 이전 접근 방식들에 비해 훨씬 적은 파라미터 수로 WOS와 DBpedia 양쪽 모두에서 최첨단 성능을 달성했다.
• 각 모델의 학습 시간은 30 에포크 기준 약 1시간 수준을 유지하였으며, 보조 작업으로 인한 추가 오버헤드는 없었다.
• 수정된 비트 시퀀스 검색은 다소의 성능 향상은 이루지 못했지만, PNC 전략은 비트 시퀀스 검색과 결합했을 때 일관되게 성능 향상을 이끌어냈다.
• 결과적으로 외부 지식 통합과 보조 작업는 상호 보완적이며 독립적인 전략임을 입증하였으며, 두 전략을 동시에 적용했을 때 가장 높은 성능 향상을 보였다.