[논문 리뷰] Aspect Term Extraction with History Attention and Selective Transformation

Xin Li, Lidong Bing외 3명|arXiv (Cornell University)|2018. 05. 02.

Sentiment Analysis and Opinion Mining참고 문헌 19인용 수 32

한 줄 요약

이 논문은 Truncated History Attention (THA)와 Selective Transformation Network (STN)를 통해 각 토큰에 조건화된 의견 요약과 요약 기반의 특성 검출 이력에 기반한 새로운 프레임워크를 제안한다. 문맥 인식 의견 요약과 순차적 예측 신호를 통합함으로써, 복잡한 특성 구조와 노이즈가 많은 리뷰에서 정확도와 내성에 뛰어난 성능 향상을 보이며, 네 가지 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Aspect Term Extraction (ATE), a key sub-task in Aspect-Based Sentiment Analysis, aims to extract explicit aspect expressions from online user reviews. We present a new framework for tackling ATE. It can exploit two useful clues, namely opinion summary and aspect detection history. Opinion summary is distilled from the whole input sentence, conditioned on each current token for aspect prediction, and thus the tailor-made summary can help aspect prediction on this token. Another clue is the information of aspect detection history, and it is distilled from the previous aspect predictions so as to leverage the coordinate structure and tagging schema constraints to upgrade the aspect prediction. Experimental results over four benchmark datasets clearly demonstrate that our framework can outperform all state-of-the-art methods.

연구 동기 및 목표

• 기존 ATE 방법이 의견어 공존 패턴을 적절히 활용하지 못해 비의견적 어휘에 대해 잘못된 양성 결과를 낼 수 있는 한계를 해결하기 위해.
• 각 대상 토큰에 조건화된 문맥 인식 의견 요약을 통해 글로벌 의견 정보를 통합함으로써 특성 터미널 추출을 향상시키기 위해.
• 절단된 이력 주의를 통해 특성 검출 이력을 모델링하여 특성 예측의 순차적 종속성을 활용하기 위해.
• 유용한 의견어 주의를 강화함으로써 노이즈가 포함된 의견 요약을 줄이기 위해 선택적 변환 네트워크를 적용하기 위해.

제안 방법

• 모델은 문장 내 모든 의견 표현에 주의를 기울여 전체 의견 표현에서 유도된 글로벌 의견 표현을 사용하여 각 토큰에 조건화된 의견 요약을 생성한다.
• 선택적 변환 네트워크(Selective Transformation Network, STN)는 현재 특성 특징을 통합하여 의견 표현에 대한 주의를 개선함으로써 관련이 없거나 노이즈가 있는 의견어를 걸러내는 데 사용된다.
• 절단된 이력 주의(Truncated History Attention, THA)는 이전 특성 예측에서 유도된 종속성을 포착하여 태깅 체계 제약 조건(예: B-I-O)을 강제하고 예측 일관성을 향상시킨다.
• 공유 인코더와 작업별 헤드를 사용하는 다중 작업 학습 설정을 통해 특성 터미널 추출과 의견 검출을 동시에 최적화한다.
• 의견 요약은 추가적인 특징 입력으로 특성 예측 헤드에 사용되어 문맥 민감도를 향상시킨다.
• 현재 예측 대상에 따라 동적으로 조정되는 주의 메커니즘을 사용하여, 전체적으로 엔드 투 엔드로 교차 엔트로피 손실을 기반으로 학습된다.

실험 결과

연구 질문

• RQ1 각 토큰에 조건화된 문맥 인식 의견 요약이 관련 의견 신호를 포착함으로써 특성 터미널 추출 정확도를 향상시킬 수 있는가?
• RQ2 절단된 이력 주의를 통해 특성 검출 이력을 활용하면 오류 전파를 줄이고 레이블링 일관성을 향상시킬 수 있는가?
• RQ3 선택적 변환 네트워크가 노이즈가 포함된 의견 표현을 효과적으로 걸러내고 관련 의견어에 대한 주의를 강화할 수 있는가?
• RQ4 복잡한 문장 구조에서 RNCRF 및 CMLA와 같은 통합 추출 모델과 비교할 때, 제안된 프레임워크는 ATE 성능과 내성에 있어 어떻게 성과를 내는가?

주요 결과

• 제안된 모델은 네 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, RNCRF 및 CMLA를 포함한 기존 방법들을 능가한다.
• 제거 실험 결과에서 선택적 변환 네트워크(STN) 또는 절단된 이력 주의(THA)를 제거할 경우 F1 점수가 크게 하락함으로써, 이들의 효과성이 확인된다.
• 기존 모델이 순차적 문맥 부족으로 실패하기 쉬운 장기 특성어 및 좌표 구조에서 뛰어난 성능을 보이며, 특히 이에 유리하다.
• 주의 시각화 결과에서 전체 모델은 'unwelcoming', 'filthy'와 같은 관련 의견어에 집중하는 반면, 관련이 없거나 비의견어로 간주되는 어휘는 억제됨을 확인할 수 있다.
• 기존 모델가 놓치는 희귀 또는 철자 실수로 인한 특성어(예: 'survice')를 의견어 신호를 활용하여 정확하게 식별함으로써, 이는 모델의 강점을 보여준다.
• 의견과 특성의 통합 추출이 반드시 필요하지 않으며, 의견 문맥과 예측 이력을 별도로 그러나 정보적으로 모델링하는 것이 ATE 성능을 더 높일 수 있음을 시사한다.