[논문 리뷰] Joint Binary Neural Network for Multi-label Learning with Applications to Emotion Classification

Huihui He, Rui Xia|arXiv (Cornell University)|2018. 02. 03.

Text and Document Classification Technologies참고 문헌 11인용 수 8

한 줄 요약

이 논문은 다중 레이블 정서 분류를 위한 공동 이진 신경망(JBNN)을 제안하며, 공동 이진 교차 엔트로피(JBCE) 손실을 사용하여 단일 엔드 투 엔드 프레임워크 내에서 다수의 이진 분류기를 동시에 학습한다. 소프트맥스를 다수의 로지스틱 함수로 대체하고 레이블 간 관계를 통합함으로써, BRNN와 비교해 계산 비용을 크게 감소시키면서도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently the deep learning techniques have achieved success in multi-label classification due to its automatic representation learning ability and the end-to-end learning framework. Existing deep neural networks in multi-label classification can be divided into two kinds: binary relevance neural network (BRNN) and threshold dependent neural network (TDNN). However, the former needs to train a set of isolate binary networks which ignore dependencies between labels and have heavy computational load, while the latter needs an additional threshold function mechanism to transform the multi-class probabilities to multi-label outputs. In this paper, we propose a joint binary neural network (JBNN), to address these shortcomings. In JBNN, the representation of the text is fed to a set of logistic functions instead of a softmax function, and the multiple binary classifications are carried out synchronously in one neural network framework. Moreover, the relations between labels are captured via training on a joint binary cross entropy (JBCE) loss. To better meet multi-label emotion classification, we further proposed to incorporate the prior label relations into the JBCE loss. The experimental results on the benchmark dataset show that our model performs significantly better than the state-of-the-art multi-label emotion classification methods, in both classification performance and computational efficiency.

연구 동기 및 목표

• 기존 딥러닝 기반 다중 레이블 학습 방법의 한계를 해결하기 위해, 특히 BRNN의 레이블 간 종속성 모델링 부재와 TDNN의 외부 임계치 설정 메커니즘 필요성 문제를 해결한다.
• 단일 훈련 과정을 통해 별도의 이진 분류기 학습 없이 다중 레이블 분류를 동시에 수행하는 통합 신경망 아키텍처를 개발한다.
• 손실 함수에 레이블 간 관계에 대한 사전 지식을 통합하여 분류 성능을 향상시킨다.
• 레이블 간 공유 표현을 통해 계산 효율성을 극대화하고 모델 파라미터 수를 최소화하여 고성능의 계산 효율성을 달성한다.

제안 방법

• 기존 다중 클래스 네트워크의 소프트맥스 출력 레이어를 각 레이블에 대한 이진 확률을 생성하는 다수의 독립적인 로지스틱 함수로 대체한다.
• 모든 이진 분류기를 단일 신경망 아키텍처 내에서 공유 워드 임베딩, Bi-LSTM 레이어 및 문장 표현을 활용해 동시에 학습한다.
• 모든 레이블 예측을 동시에 최적화하기 위해 공동 이진 교차 엔트로피(JBCE) 손실을 사용하여 레이블 간 상호의존성을 포착한다.
• 감정 태그놀로지에서 유도된 공통 발생 패턴과 같은 사전 레이블 관계를 JBCE 손실에 통합하여 일반화 성능을 향상시킨다.
• Bi-LSTM로 인코딩된 표현에 주의 메커니즘을 적용하여 입력 텍스트 내 정서 관련 단어에 집중한다.
• 추론 시 최종 다변량 베르누이 출력을 하드 임계치(예: 0.5)를 통해 다중 레이블 예측으로 변환한다.

실험 결과

연구 질문

• RQ1 통합 신경망 아키텍처가 별도의 이진 분류기 학습(BRNN)보다 다중 레이블 정서 분류에서 우월한 성능을 내는가?
• RQ2 소프트맥스를 다수의 로지스틱 함수로 대체하고 공동 손실을 사용하는 것이 임계치 기반 다중 클래스 네트워크(TDNN)보다 성능을 향상시키는가?
• RQ3 사전 레이블 관계가 다중 레이블 정서 분류 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 JBNN 모델은 BRNN 및 TDNN에 비해 계산 효율성이 얼마나 뛰어나게 되는가?

주요 결과

• JBNN는 Ren-CECps 데이터셋에서 평균 평균 정밀도(mAP) 0.7171 ± 0.0041을 기록하여 모든 평가 지표에서 BRNN 및 TDNN를 뛰어넘는 성능을 달성한다.
• JBNN는 파라미터 수를 0.28M으로 줄여 BRNN(2.53M)의 8.5배, TDNN(2.81M)의 10배 감소시켜 더 빠른 훈련을 가능하게 한다.
• JBNN의 훈련 시간은 1에포크당 35초로, BRNN(265초)의 약 8배, TDNN(305초)의 약 9배 빠르게 된다.
• 절단 실험 결과, Bi-LSTM가 성능 향상에 가장 기여하며, 그 다음으로 주의 메커니즘과 사전 레이블 관계 통합 기여도가 높다.
• 주의 메커니즘 또는 사전 레이블 관계 통합을 제거할 경우 성능 저하가 명확히 관측되어, 이들이 문맥과 의미적 종속성을 효과적으로 포착한다는 것을 확인한다.
• 모든 평가 지표에서 이중 검정(t-검정)을 통해 모델의 우월성이 통계적으로 유의미하다고 확인되었다.