[논문 리뷰] Open Domain Suggestion Mining: Problem Definition and Datasets

Sapna Negi, Maarten de Rijke외 1명|arXiv (Cornell University)|2018. 06. 06.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 21

한 줄 요약

이 논문은 개방형 도메인 응용을 위한 제안 추출에 대한 공식적이고 맥락에 의존하는 정의를 제안하고, 일반인 및 전문가 평가자들을 결합한 이단계 평가 방법을 도입하여 공개 가능한 기준 데이터셋을 구축한다. 주요 기여는 다양한 도메인—여행, 전자기기, 소프트웨어 등—에서 제안을 보다 일관되고 모호함이 줄어든 방식으로 식별할 수 있는 새로운 실험적 검증된 프레임워크를 마련한 것으로, 체계적인 평가 절차와 연구용으로 공개된 데이터셋을 통해 실현된다.

ABSTRACT

We propose a formal definition for the task of suggestion mining in the context of a wide range of open domain applications. Human perception of the term \emph{suggestion} is subjective and this effects the preparation of hand labeled datasets for the task of suggestion mining. Existing work either lacks a formal problem definition and annotation procedure, or provides domain and application specific definitions. Moreover, many previously used manually labeled datasets remain proprietary. We first present an annotation study, and based on our observations propose a formal task definition and annotation procedure for creating benchmark datasets for suggestion mining. With this study, we also provide publicly available labeled datasets for suggestion mining in multiple domains.

연구 동기 및 목표

• 현재 모호하고 응용 분야에 국한된 해석에 의존하는 바탕이 되는 공식적 개방형 정의가 부족한 제안 추출 문제를 해결하기 위해.
• 일반인의 '제안' 개념과 그 언어적 표현 방식을 연구하여 기존 데이터셋의 일관성 문제를 해결하기 위해.
• 확장 가능하고 신뢰할 수 있는 평가 파이프라인을 설계하여 군중 평가자와 전문가 평가자를 결합함으로써 상호 평가 일致도가 높은 기준 데이터셋을 구축하기 위해.
• 재현 가능한 연구와 모델 개발을 지원하기 위해 공개 가능한 도메인 다양성을 갖춘 제안 추출 데이터셋을 제공하기 위해.

제안 방법

• 비전문가 평가자들을 대상으로 다양한 맥락에서 '제안'이라는 용어를 어떻게 이해하는지 파악하기 위한 인식 연구를 수행한다.
• 언어적 신호와 맥락을 바탕으로 명시적 제안, 암시적 제안, 명시적 비제안, 암시적 비제안의 네 가지 카테고리로 분류하는 프레임워크를 제안한다.
• 이중 단계 평가 절차를 적용한다: 제1단계는 문장 수준의 맥락에서 군중 평가자를 활용하고, 제2단계는 맥락 없이 전문가 평가자를 활용하여 편향을 줄인다.
• 양측 단계에서 모두 제안으로 표기된 문장만을 유지하여 정확도와 일관성을 확보한다.
• 여행, 전자기기, 소프트웨어, 여행 포럼 등 다양한 출처에서 기준 데이터셋을 구축하기 위해 이 방법을 적용한다: 트립어드바이저(호텔), 아마존(전자기기), 유저보이스(소프트웨어), 포도어스/인사이트버케이션스(여행), 마이크로소프트 트윗.
• 모든 데이터셋에서 코HEN의 카파 계수 0.72에서 1.0까지의 상호 평가 일치도를 보고하며, 마이크로소프트 트윗 데이터셋에서는 전체 트윗 맥락과 해시태그의 명확성으로 인해 1.0의 일치도를 기록했다.

실험 결과

연구 질문

• RQ1 일반인은 개방형 맥락에서 '제안'이라는 용어를 어떻게 인식하는가?
• RQ2 실증적 평가 연구를 통해 유도할 수 있는 공식적이고 맥락 인식 기반의 제안 정의는 무엇인가?
• RQ3 주관성을 최소화하고 일관성을 극대화하기 위해 제안 추출 데이터셋의 신뢰성과 확장성을 확보할 수 있는 평가 파이프라인은 어떻게 설계할 수 있는가?
• RQ4 비정형 텍스트에서 제안과 비제안을 구분하는 언어적 및 맥락적 특징은 무엇인가?

주요 결과

• 연구 결과, 일반인은 '제안'을 조언, 추천, 팁, 경고와 연관짓지만, 이러한 표현들이 종종 비제안적 맥락에 등장하여 모호함을 유발함을 확인했다.
• 명시적/암시적 제안 및 비제안의 네 카테고리로 구성된 제안 프레임워크는 제안 인식의 미묘한 차이를 효과적으로 포착하고 평가 일관성을 향상시킨다.
• 이중 단계 평가 방법은 데이터 품질을 크게 향상시켰으며, 호텔 데이터셋의 경우 상호 평가 일치도가 0.86에 도달했고, 마이크로소프트 트윗 데이터셋에서는 1.0을 기록하여 높은 신뢰성을 입증했다.
• 공개된 데이터셋은 다섯 가지 도메인을 포함하며 CC BY-NC-SA 4.0 라이선스 하에 공개되어 있어 제안 추출 분야의 재현 가능한 연구를 가능하게 한다.
• 마이크로소프트 트윗 데이터셋은 전체 트윗 맥락과 해시태그의 존재로 인해 100%의 상호 평가 일치도를 달성했으며, 이는 모호함 감소의 효과를 반영한다.
• 이 방법은 기존 데이터셋을 재표기하고 검증하는 데 성공했으며, 여행 포럼(Kappa = 0.76)과 마이크로소프트 트윗 데이터셋 모두에서 이 접근법의 강건성을 확인했다.