[논문 리뷰] Extraction of Salient Sentences from Labelled Documents

Misha Denil, Alban Demiraj외 1명|arXiv (Cornell University)|2014. 12. 21.

Topic Modeling참고 문헌 30인용 수 85

한 줄 요약

이 논문은 레이블이 부여된 문서에서 주제 관련 문장을 추출하기 위해 문서 구조에 대한 내성적 분석을 가능하게 하는 계층적 합성곱 신경망을 제안한다. 컴퓨터 비전에서 유래한 시각화 기법을 주의 맵에 적용함으로써 모델은 주목할 만한 문장을 식별하며, 무작위 선택 및 첫/마지막 문장 히ュ리스틱과 같은 기준 모델들보다 뛰어난 성능을 보이며, 추출된 문장에 대한 분류기 정확도 저하를 이용한 새로운 확장 가능한 평가 방법을 제안한다.

ABSTRACT

We present a hierarchical convolutional document model with an architecture designed to support introspection of the document structure. Using this model, we show how to use visualisation techniques from the computer vision literature to identify and extract topic-relevant sentences. We also introduce a new scalable evaluation technique for automatic sentence extraction systems that avoids the need for time consuming human annotation of validation data.

연구 동기 및 목표

• 문서 구조에 대한 내성적 분석을 지원하는 신경망 아키텍처를 개발하는 것.
• 컴퓨터 비전에서 유래한 시각화 기법을 적용하여 신경망 활성화 상태에서 작업에 관련된 문장을 해석하고 추출하는 것.
• 인간의 레이블링이 비용이 많이 들기 때문에, 문장 추출 시스템을 평가하기 위한 확장 가능한, 레이블링이 없는 평가 방법을 도입하는 것.
• 영화 리뷰에서 감성 관련 문장 추출에 대해 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 단어 수준에서 문장을 처리하고, 문서 수준에서 문서를 처리하는 이중 계층의 히에라르키컬 컨볼루션 네트워크 아키텍처를 사용하며, 문장 간에 필터를 공유한다.
• 단어 임베딩을 행렬로 연결하고, 최대 풀링과 tanh 비선형성을 적용한 합성곱 레이어를 통해 문장 수준의 표현을 생성한다.
• 문장 표현을 문서 행렬로 연결하고, 두 번째 컨볼루션 네트워크 레이어를 통해 문서 수준의 표현을 생성하여 분류에 활용한다.
• 모델은 소프트맥스 분류기를 사용하여 문서 감성 예측을 위해 backpropagation을 통해 훈련된다.
• 활성화 맵을 시각화하여 최종 합성곱 레이어의 출력에서 유의미한 문장을 식별하며, 기울기 기반 기여도를 통해 영향력 있는 문장을 파악한다.
• 기존의 인간 레이블링이 필요 없는 새로운 평가 방법을 도입하여, 전체 문서와 추출된 문장 집합에 대한 분류기 정확도를 비교함으로써 정보 보존 정도를 측정한다.

실험 결과

연구 질문

• RQ1 문서 구조에 대한 내성적 분석을 지원하는 계층적 컨볼루션 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 컴퓨터 비전에서 유래한 시각화 기법을 자연어 처리 분야에 응용하여 주목할 만한, 작업에 관련된 문장을 식별할 수 있는가?
• RQ3 문장 추출 시스템을 비교하기 위한 확장 가능하고, 레이블링이 없는 평가 방법을 개발할 수 있는가?
• RQ4 제안된 모델은 무작위 선택, 첫/마지막 문장 히ュ리스틱, 얕은 신경망과 같은 기준 모델들과 비교해 볼 때, 작업에 관련된 정보를 얼마나 잘 유지하는가?

주요 결과

• 제안된 컨볼루션 네트워크 모델은 첫/마지막 문장 히ュ리스틱과 같은 모든 기준 모델들을 능가하며, 문장의 20%만 추출해도 감성 관련 정보를 잘 유지한다.
• 모델은 항상 플롯 서머리나 배경 정보와 같은 의견을 표현하지 않는 문장을 무시하고, 감성 표현을 담은 내용에 집중하는 경향을 보인다.
• 평가 방법에 따르면, 기준 나이브 베이즈 분류기가 추출된 문장에 적용되었을 때 정확도가 1.5% 미만으로 감소함을 확인하여 높은 정보 보존 능력을 입증한다.
• 시각화 결과는 모델이 명확한 감성을 표현하는 문장에 높은 관련도 점수를 할당함을 보여주며, 이는 설명 가능성과 작업의 일치성을 입증한다.
• 히에라르키컬 아키텍처는 정확한 주목성 탐지에 필수적인 효과적인 문장 수준 표현 학습을 가능하게 한다.