[논문 리뷰] Adapting RNN Sequence Prediction Model to Multi-label Set Prediction

Kechen Qin, Cheng Li외 2명|arXiv (Cornell University)|2019. 04. 11.

Text and Document Classification Technologies참고 문헌 23인용 수 15

한 줄 요약

이 논문은 레이블 시퀀스의 모든 순열 확률의 합으로서 집합 확률를 재정의함으로써 RNN 시퀀스 모델을 다중 레이블 텍스트 분류에 원칙적으로 적용하는 방법을 제안한다. 이는 집합 확률를 최대화하는 새로운 학습 목표와 가장 확률이 높은 집합을 찾는 예측 목표를 도입하여 RNN이 최적의 레이블 순서를 자동으로 발견할 수 있도록 하며, RCV1, AAPD, Slashdot, TheGuardian를 포함한 벤치마크 데이터셋에서 최신 기법들을 능가하는 성능을 보인다.

ABSTRACT

We present an adaptation of RNN sequence models to the problem of multi-label classification for text, where the target is a set of labels, not a sequence. Previous such RNN models define probabilities for sequences but not for sets; attempts to obtain a set probability are after-thoughts of the network design, including pre-specifying the label order, or relating the sequence probability to the set probability in ad hoc ways. Our formulation is derived from a principled notion of set probability, as the sum of probabilities of corresponding permutation sequences for the set. We provide a new training objective that maximizes this set probability, and a new prediction objective that finds the most probable set on a test document. These new objectives are theoretically appealing because they give the RNN model freedom to discover the best label order, which often is the natural one (but different among documents). We develop efficient procedures to tackle the computation difficulties involved in training and prediction. Experiments on benchmark datasets demonstrate that we outperform state-of-the-art methods for this task.

연구 동기 및 목표

• 기존 RNN 모델이 다중 레이블 텍스트 분류에서 임의 또는 고정된 레이블 순서에 의존함으로써 최적의 성능을 내지 못하는 한계를 해결하기 위해.
• 모든 레이블 집합 순열이 전체 확률에 기여하는 이론적으로 타당한 집합 확률의 공식을 제시하기 위해.
• 집합 확률를 최대화하는 새로운 학습 목표를 설계하여, 사전 지정 없이 RNN이 가장 정보적인 레이블 순서를 학습할 수 있도록 하기 위해.
• 가장 확률이 높은 집합을 식별하는 예측 목표를 도입하여, 가장 확률이 높은 시퀀스가 아닌 가장 확률이 높은 집합을 추론함으로써 진정한 다중 레이블 분류 작업과의 일치도를 높이기 위해.
• 학습 및 추론을 위한 효율적인 근사 방법을 통해 다양한 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 집합 확률는 주어진 레이블 집합의 모든 순열에 대한 확률의 합으로 정의되며, 이는 RNN의 시퀀스 확률 분포에서 유도된다.
• 조합 폭발 문제를 다루기 위해 미분 가능 근사를 사용하여 기대 집합 확률를 최대화하는 새로운 학습 목표가 제안된다.
• 다양한 레이블 시퀀스를 탐색하고 모든 순열에 대한 총 확률가 가장 높은 집합을 선택하는 데 효율적인 비트 서치 알고리즘이 설계된다.
• 모델은 각 타임스텝에서 입력 특징을 동적으로 가중하는 어텐션 메커니즘을 활용하여 관련성과 표현 학습을 향상시킨다.
• 새로운 목표를 통해 학습 중에 최적의 순서를 학습할 수 있도록 하여, 사전에 레이블 순서를 지정하지 않는다.
• 학습과 추론을 가능하게 하기 위해 대규모 레이블 집합에서도 적용 가능한 근사 추론 기법을 사용한다.

실험 결과

연구 질문

• RQ1 집합 확률의 원칙적인 공식화가 경험적 순서-집합 매핑 방식을 넘어서 다중 레이블 분류 성능을 향상시킬 수 있는가?
• RQ2 학습 중에 RNN이 최적의 레이블 순서를 자율적으로 발견할 수 있도록 허용할 경우, 고정되거나 히우리스틱 기반 레이블 순서보다 성능이 향상되는가?
• RQ3 PCC 및 seq2seq-RNN과 같은 최신 기법과 비교해 볼 때, 제안된 방법은 다양한 데이터셋에서 정확도와 강건성 측면에서 어떤가?
• RQ4 단일 최상위 시퀀스에 의존하는 것과 비교해 볼 때, 순열 간의 확률을 집계함으로써 예측 품질이 얼마나 향상되는가?
• RQ5 레이블의 카디널리티와 레이블 빈도 분포는 제안된 집합 기반 목표에서 얻는 성능 향상에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법인 set-RNN은 RCV1, AAPD, Slashdot, TheGuardian를 포함한 네 가지 모든 벤치마크 데이터셋에서 최신 기법을 능가한다.
• RCV1-v2 데이터셋에서 set-RNN은 PCC 및 seq2seq-RNN보다 높은 F1-macro 점수를 기록하였으며, 집합 수준 예측 정확도에서 유의미한 향상을 보였다.
• 레이블 카디널리티가 높은 데이터셋, 특히 순열 수가 큰 Slashdot 및 TheGuardian에서는 집합 수준 최적화의 효과가 더 두드러졌다.
• 사례 연구 결과, 가장 확률이 높은 단일 시퀀스보다도 올바른 레이블 집합이 모든 순열에 걸쳐 더 높은 총 확률을 가질 수 있음을 확인하여, 방법의 설계가 타당함을 입증했다.
• set-RNN의 어텐션 메커니즘은 관련 레이블과 특징에 집중함으로써 일반화 능력과 강건성을 향상시켰다.
• seq2seq-RNN에 비해 set-RNN의 시퀀스 확률 분포 엔트로피가 낮아 더 확신 있고 일관된 예측을 하는 것으로 나타났다.