[논문 리뷰] Challenges for Open-domain Targeted Sentiment Analysis

Luo Yun, Hongjie Cai외 4명|arXiv (Cornell University)|2022. 04. 14.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 6개의 다양한 도메인에 걸쳐 총 6,013건의 인간 레이블이 부여된 문서를 포함하는 새로운 오픈 도메인 대상 감성 분석 데이터셋을 소개한다. 문장 수준의 분석을 넘어서 문서 수준의 감성 추출을 가능하게 하며, 중첩된 대상(annotation) 구조를 사용한다. 이는 일련의 시퀀스를 시퀀스로 변환하는 BART 기반 모델을 사용한 엔드 투 엔드 생성 방식을 적용하여 장문의 문서, 복잡한 대상 구조, 도메인 간 변동성에 대응하는 데 있어 심각한 과제를 드러내며, 최신의 사전 훈련된 모델을 사용한 벤치마크 결과는 여전히 향상 여지가 크다는 것을 보여준다.

ABSTRACT

Since previous studies on open-domain targeted sentiment analysis are limited in dataset domain variety and sentence level, we propose a novel dataset consisting of 6,013 human-labeled data to extend the data domains in topics of interest and document level. Furthermore, we offer a nested target annotation schema to extract the complete sentiment information in documents, boosting the practicality and effectiveness of open-domain targeted sentiment analysis. Moreover, we leverage the pre-trained model BART in a sequence-to-sequence generation method for the task. Benchmark results show that there exists large room for improvement of open-domain targeted sentiment analysis. Meanwhile, experiments have shown that challenges remain in the effective use of open-domain data, long documents, the complexity of target structure, and domain variances.

연구 동기 및 목표

• 기존의 오픈 도메인 대상 감성 분석 데이터셋이 레스토랑, 노트북, 트위터 리뷰와 같은 좁은 도메인과 문장 수준의 분석에 국한되어 있다는 한계를 해결하기 위해.
• 대상 감성 분석의 범위를 문장 수준을 넘어서 문서 수준의 입력으로 확장하여, 문장 수준 처리에서 상실되는 공명사 및 논의 수준의 관계를 포착하기 위해.
• 복잡한 계층적 감성 구조(예: '이탈리안 레스토랑'과 '가격' 사이의 관계)를 포괄할 수 있도록 중첩된 대상 레이블링 체계를 도입하여 실용성을 향상시키기 위해.
• 실제적이고 다양한, 장문의 텍스트 조건에서 사전 훈련된 순서-투-순서 모델(BART 등)이 엔드 투 엔드 오픈 도메인 대상 감성 분석에 얼마나 효과적인지 평가하기 위해.
• 도메인 변동성, 장문의 복잡성, 대상의 구조적 모호성 등 오픈 도메인 감성 분석에서 지속적으로 남아 있는 과제를 규명하기 위해.

제안 방법

• 6개의 도메인(책, 옷, 레스토랑, 호텔, 뉴스, PhraseBank)을 포함하는 총 6,013건의 인간 레이블이 부여된 문서로 구성된 새로운 데이터셋을 제안한다. 각 도메인은 다양한 언어적 장르와 문서 길이를 지닌다.
• 감성을 지닌 스팬뿐만 아니라 대상 간의 계층적 및 관계적 구조(예: '이탈리안 레스토랑'이 '가격'과 '음식'에 영향을 미침)를 포괄하는 중첩된 대상 레이블링 체계를 도입한다.
• 사전 훈련된 BART 모델을 사용하여 오픈 도메인 대상 감성 분석을 순서-투-순서 생성 작업으로 설정한다. 입력은 문서이며, 출력은 (대상, 감성) 쌍의 구조화된 목록이다.
• 파이프라인 및 공동 모델링 접근법을 모두 사용한다. 파이프라인은 대상 추출과 감성 분류를 분리하여 처리하지만, 공동 모델링은 하나의 생성 단계에서 두 작업을 동시에 수행한다.
• 상호 레이블러 일致도를 평가하기 위해 마이크로-F1 및 카파 점수를 사용하여, 다양한 대상 밀도를 가진 도메인 간에도 높은 품질의 레이블링을 확보한다.
• 제거 실험과 사례 분석을 통해 평균 대상 수와 구조적 복잡성이 다른 도메인 간의 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기존의 문장 수준 데이터셋을 초월하여 다양한 실제 문서 도메인에서 오픈 도메인 대상 감성 분석 모델의 성능가 어떻게 변하는가?
• RQ2 기존의 스파닝 기반 레이블링과 비교할 때, 중첩된 대상 레이블링 체계는 복잡한 계층적 감성 관계를 얼마나 잘 포착하는가?
• RQ3 장문의 문서와 높은 대상 밀도를 다룰 때, 파이프라인 모델과 공동 모델링 접근법의 성능 및 내성성은 어떻게 비교되는가?
• RQ4 사전 훈련된 순서-투-순서 모델을 오픈 도메인 대상 감성 분석에 적용할 때, 공명사 해소 및 감성 집계 문제와 관련하여 주요 과제는 무엇인가?
• RQ5 도메인 특화의 변동성과 문서 길이가 오픈 도메인 환경에서 감성 분석 모델의 일반화 능력과 신뢰성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 데이터셋은 평균 대상 수가 1.23개(PhraseBank)에서 5.03개(레스토랑)에 이르는 다양한 도메인을 포함하며, 실제 문서의 복잡성을 반영한다.
• 평균 대상 수가 적은 도메인(예: 책, 2.50개/문서)에서는 공동 모델링이 파이프라인 모델보다 성능이 뛰어나지만, 대상 수가 많은 도메인(예: 레스토랑, 5.03개/문서)에서는 파이프라인 모델이 더 우수한 성능을 보였다.
• 벤치마크 결과는 여전히 큰 성능 격차가 있음을 보여주며, 최신의 사전 훈련된 모델을 사용하더라도 오픈 도메인 대상 감성 분석은 여전히 도전적인 과제이며 향상 여지가 크다는 것을 시사한다.
• 사례 연구 결과, 모델이 공명사 해소(예: '그들' 또는 '그'가 무엇을 가리키는지 파악하지 못함)에 어려움을 겪고, 대상 밀도가 높을 경우 복잡한 관계적 감성 구조를 놓치는 경향이 있음을 확인했다.
• 오픈 도메인 데이터를 효과적으로 활용하는 데서의 과제, 장문의 문서 처리, 복잡한 대상 구조 관리, 도메인 변동성에 대한 일반화 능력 향상 등 여전히 해결해야 할 과제가 있음을 확인했다.
• 상호 레이블러 일치도는 높은 편이며(대부분의 도메인에서 F1 > 70%), 인간 레이블링 데이터셋의 품질과 일관성을 검증한다.