[논문 리뷰] Neural Message Passing for Multi-Label Classification

Jack Lanchantin, Arshdeep Sekhon외 1명|arXiv (Cornell University)|2019. 04. 17.

Text and Document Classification Technologies참고 문헌 48인용 수 5

한 줄 요약

이 논문은 다중 레이블 분류에서 레이블 간의 공동 의존성을 다루기 위해 완전히 연결된 그래프 상의 노드로 레이블을 간주하는 새로운 주의 기반 메시지 전달 프레임워크인 Label Message Passing (LaMP) 신경망을 제안한다. 특성에서 레이블로, 그리고 레이블에서 레이블로의 반복적 메시지 전달을 통해 주의 메커니즘을 활용해 레이블 표현을 업데이트함으로써, LaMP는 일곱 개의 데이터셋에서 최신 기술 성능을 달성하며, 조밀한 레이블 세트에 대해 해석 가능하고 병렬 처리 가능한, 구조에 구애받지 않는 예측을 가능하게 한다.

ABSTRACT

Multi-label classification (MLC) is the task of assigning a set of target labels for a given sample. Modeling the combinatorial label interactions in MLC has been a long-haul challenge. We propose Label Message Passing (LaMP) Neural Networks to efficiently model the joint prediction of multiple labels. LaMP treats labels as nodes on a label-interaction graph and computes the hidden representation of each label node conditioned on the input using attention-based neural message passing. Attention enables LaMP to assign different importance to neighbor nodes per label, learning how labels interact (implicitly). The proposed models are simple, accurate, interpretable, structure-agnostic, and applicable for predicting dense labels since LaMP is incredibly parallelizable. We validate the benefits of LaMP on seven real-world MLC datasets, covering a broad spectrum of input/output types and outperforming the state-of-the-art results. Notably, LaMP enables intuitive interpretation of how classifying each label depends on the elements of a sample and at the same time rely on its interaction with other labels. We provide our code and datasets at https://github.com/QData/LaMP

연구 동기 및 목표

• 다중 레이블 분류(Multi-label Classification, MLC)에서 조합적 레이블 상호작용을 모델링하는 데 도전하는 것. 이는 NP-난해하며 기존 방법에서는 자주 忽略된다.
• 입력 특징에 조건부로 레이블 간 의존성을 동시에 모델링할 수 있는 방법을 개발하여, 조밀한 레이블 세트에 대해 정확하고 확장 가능한 예측을 가능하게 하는 것.
• 해석 가능하고 병렬 처리가 가능하며, 사전에 정의된 레이블 상호작용 구조가 필요 없이 다양한 입력 및 출력 데이터 구조에 적용 가능한 모델을 만드는 것.
• RNN 기반 분류 체인과 같은 순차적 모델이 조밀한 레이블 환경에서 오류 전파 및 낮은 확장성 문제를 겪는 것을 극복하는 것.
• 주요 기능 메커니즘을 통해 레이블-특징 및 레이블-레이블 상호작용을 직관적으로 시각화하여 모델의 해석 가능성을 높이는 것.

제안 방법

• LaMP는 레이블을 완전히 연결된 레이블 상호작용 그래프의 노드로 간주하고, 입력 특징과 인접 레이블에 기반해 각 레이블의 은닉 표현을 신경 메시지 전달을 통해 업데이트한다.
• 모델은 메시지 전달 과정에서 이중 헤드(self-attention)를 활용해 주변 레이블의 중요도를 동적으로 할당함으로써, 입력에 따라 조건부 레이블 의존성을 학습한다.
• 특징에서 레이블로의 메시지 전달은 입력 특징에 주의를 기울여 레이블 표현을 업데이트하고, 레이블에서 레이블로의 메시지 전달은 다른 레이블 상태에 주의를 기울여 이를 정밀하게 조정한다.
• 최종 예측은 다중 메시지 전달 단계 이후의 최종 레이블 임베딩 상태에 읽기 기능(readout function)을 적용하여 생성된다.
• 모델은 구조에 구애받지 않는 학습(완전히 연결된 그래프)과 구조를 고려하는 학습(알려진 레이블 그래프가 제공될 경우)을 모두 지원하며, 주의는 알려진 이웃에 국한된다.
• 아키텍처는 완전히 미분 가능하고 엔드 투 엔드로 훈련 가능하여, RNN 기반 분류 체인과 같은 순차적 모델과는 달리 병렬 훈련 및 추론이 가능하다.

실험 결과

연구 질문

• RQ1 주목 기반 신경 메시지 전달이 다중 레이블 분류에서 출력 레이블의 공동 표현을 효과적으로 확장할 수 있는가?
• RQ2 해당 방법이 조밀한 레이블 세트에 대해 최신 기술 성능을 달성하면서도 해석 가능하고 확장 가능한가?
• RQ3 레이블-레이블 및 레이블-특징 주의 메커니즘이 예측 정확도 향상과 모델 해석 가능성에 어떤 기여를 하는가?
• RQ4 LaMP는 정확도 및 추론 속도 측면에서 RNN Seq2Seq와 같은 순차적 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 모델은 레이블 그래프에 대한 사전 지식 없이 데이터로부터 조건부 레이블 의존성 구조를 자동으로 학습할 수 있는가?

주요 결과

• LaMP는 텍스트, 이미지, 표준 데이터, 분자 데이터를 포함한 일곱 개의 실제 다중 레이블 분류 데이터셋에서 다섯 가지 평가 지표에 대해 최신 기술 성능 또는 경쟁력 있는 성능을 달성했다.
• SIDER 데이터셋에서 LaMP는 추론 시 RNN Seq2Seq의 비트 시퀀스 검색 기반 추론 대비 21배 빠른 속도를 기록했다.
• TFBS 데이터셋에서 테스트 시 LaMP는 4.2배의 속도 향상을 보였으며, 이는 그 확장성과 병렬 처리 가능성의 증거였다.
• 시각화 결과, '웹 디자인', '디자인', 'html' 등의 레이블이 레이블-레이블 메시지 전달 이후 예측 신뢰도가 크게 상승한 것으로 나타나, 학습된 의존성이 존재함을 시사했다.
• 주의 가중치 분석 결과, '웹 디자인' 레이블이 초기 특징-레이블 업데이트 단계에서 '픽', '스마트', '버전' 등의 특징에 주목함으로써 조기 예측 패턴을 설명할 수 있었다.
• 후속 메시지 전달 단계에서 모델은 고차원의 레이블 상호작용을 성공적으로 포착했으며, 두 번째 단계의 주의 패턴이 복잡한 레이블 의존성을 반영하고 있었다.