[논문 리뷰] DOC: Deep Open Classification of Text Documents

Lei Shu, Hu Xu외 1명|arXiv (Cornell University)|2017. 09. 25.

Text and Document Classification Technologies참고 문헌 18인용 수 24

한 줄 요약

이 논문은 전통적인 모델을 확장하여 분포 외(신규) 문서를 탐지할 수 있는 새로운 딥러닝 접근법인 DOC (Deep Open Classification)을 제안한다. 1-vs-rest 시그모이드 출력층과 가우시안 피팅을 활용해 거부 임계치를 최적화함으로써, OpenMax 및 cbsSVM과 같은 최신 기법들보다 뛰어난 성능을 보이며, 20 Newsgroups에서 봉인된 클래스가 25%일 경우 최대 82.3%의 매크로-F1을 달성한다.

ABSTRACT

Traditional supervised learning makes the closed-world assumption that the classes appeared in the test data must have appeared in training. This also applies to text learning or text classification. As learning is used increasingly in dynamic open environments where some new/test documents may not belong to any of the training classes, identifying these novel documents during classification presents an important problem. This problem is called open-world classification or open classification. This paper proposes a novel deep learning based approach. It outperforms existing state-of-the-art techniques dramatically.

연구 동기 및 목표

• 동적인 환경에서 자주 발생하는 새로운, 알려지지 않은 클래스에 대응하기 위해 폐쇄세계 텍스트 분류의 한계를 해결하기 위해.
• 기존 클래스를 분류할 수 있을 뿐 아니라, 새로운, 알려지지 않은 클래스에 속하는 문서를 거부할 수 있는 딥러닝 모델을 개발하기 위해.
• 검증 데이터가 없는 새로운 클래스로부터의 정보를 필요로 하지 않고도, 오픈 스페이스 리스크를 줄이고 거부 임계치를 최적화함으로써 오픈월드 분류 성능을 향상시키기 위해.
• 대부분의 테스트 문서가 알려지지 않은 클래스에 속할 경우에도 높은 정밀도와 재현율을 유지할 수 있는 강건하고 일반화 가능한 오픈 분류를 가능하게 하기 위해.

제안 방법

• DOC는 단어 임베딩과 여러 컨볼루션 필터(크기 3, 4, 5)를 활용한 CNN 기반 아키텍처를 사용하여 텍스트의 계층적 특징을 추출한다.
• 최종 레이어는 오픈 스페이스 리스크를 줄이고 알려진 클래스와 알려지지 않은 클래스 간의 분리도를 높이기 위해 소프트맥스 대신 1-vs-rest 시그모이드 활성화 함수를 사용한다.
• 각 클래스의 로짓에 대해 가우시안 피팅 절차를 적용하여 최적의, 클래스별로 다른 거부 임계치(t_i)를 결정하며, 이는 고정된 t=0.5 기준선을 대체한다.
• 알려진 클래스에 대한 교차 엔트로피 손실과 알려지지 않은 클래스에 대한 거부를 동시에 사용해 엔드 투 엔드로 모델을 훈련하며, 알려지지 않은 클래스의 사전 예시가 필요하지 않다.
• 이 아키텍처는 증분 학습을 지원하며, 전이 가능성에 의해 시각 작업으로도 적용 가능함을 보여주며, 텍스트 및 이미지 도메인 모두에 적합하다.
• 평가에서는 1-vs-rest 다중분류 설정에 추가로 '거부' 클래스를 포함하고, m+1개 클래스(m개의 알려진 클래스 + 1개의 거부 클래스)에 대해 매크로-F1을 계산한다.

실험 결과

연구 질문

• RQ1 신규 클래스의 사전 예시가 없이도 딥러닝 모델이 분포 외 텍스트 문서를 효과적으로 탐지할 수 있는가?
• RQ2 오픈월드 분류에서 오픈 스페이스 리스크를 줄이기 위해 1-vs-rest 시그모이드 출력층이 소프트맥스와 비교해 어떻게 성능을 높이는가?
• RQ3 고정된 임계치(t=0.5) 대비 로짓에 대한 가우시안 피팅이 거부 임계치 선택에 얼마나 향상시키는가?
• RQ4 테스트 문서의 75% 이상이 알려지지 않은 클래스에 속하는 극한의 오픈월드 조건에서 DOC의 성능은 어떠한가?
• RQ5 DOC는 도메인 간 일반화 능력을 보이며, 텍스트 및 이미지 기반 오픈 분류에서 최신 기법들을 초월할 수 있는가?

주요 결과

• 25%의 알려진 클래스를 가진 20 Newsgroups 데이터셋에서, DOC는 매크로-F1 점수 82.3%를 기록했으며, OpenMax(35.7%)와 cbsSVM(59.3%)를 모두 앞서나갔다.
• 25%의 알려진 클래스를 가진 50개의 리뷰 클래스에서, DOC는 매크로-F1 61.2%를 달성했으며, OpenMax(41.6%)와 cbsSVM(55.7%)를 크게 앞서나갔다.
• 낮은 샘플 수 설정(25% 및 50%의 알려진 클래스)에서 DOC는 고정 임계치 t=0.5를 사용한 DOC(t=0.5)보다 항상 뛰어난 성능을 보이며, 가우시안 피팅된 임계치의 효과를 입증했다.
• 100%의 알려진 클래스 설정(폐쇄세계)에서도, 20 Newsgroups에서 DOC는 매크로-F1 92.6%를 기록했으며, OpenMax(91.9%)와 cbsSVM(85.2%)를 모두 앞서나갔다.
• DOC는 다양한 데이터셋에서 강건성을 보였으며, 가장 도전적인 오픈월드 시나리오(25%의 알려진 클래스)에서 OpenMax보다 최대 27%포인트 향상된 성능을 기록했다.
• OpenMax와 달리 알려지지 않은 클래스의 검증 데이터가 필요로 하지 않아, DOC는 더 실용적이고 확장 가능한 방법이다.