[논문 리뷰] Learning to Answer Subjective, Specific Product-Related Queries using Customer Reviews by Adversarial Domain Adaptation

Manirupa Das, Zhen Wang외 4명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 23인용 수 2

한 줄 요약

이 논문은 주어진 제품에 대한 주관적 질문에 답하기 위해 레이블이 없는 소비자 리뷰를 활용하는 적대적 도메인 적응 모델을 제안한다. 이 모델은 도메인 불변 특징을 학습하여 레이블이 있는 지도 학습 기반 모델을 능가한다. 도메인 외 질문-리뷰 쌍 분류에서 77.17%의 정확도를 기록하며, 레이블이 없는 리뷰 데이터를 사용함에도 불구하고 완전히 지도 학습된 방법과 동일한 성능을 달성한다.

ABSTRACT

Online customer reviews on large-scale e-commerce websites, represent a rich and varied source of opinion data, often providing subjective qualitative assessments of product usage that can help potential customers to discover features that meet their personal needs and preferences. Thus they have the potential to automatically answer specific queries about products, and to address the problems of answer starvation and answer augmentation on associated consumer Q & A forums, by providing good answer alternatives. In this work, we explore several recently successful neural approaches to modeling sentence pairs, that could better learn the relationship between questions and ground truth answers, and thus help infer reviews that can best answer a question or augment a given answer. In particular, we hypothesize that our adversarial domain adaptation-based approach, due to its ability to additionally learn domain-invariant features from a large number of unlabeled, unpaired question-review samples, would perform better than our proposed baselines, at answering specific, subjective product-related queries using reviews. We validate this hypothesis using a small gold standard dataset of question-review pairs evaluated by human experts, significantly surpassing our chosen baselines. Moreover, our approach, using no labeled question-review sentence pair data for training, gives performance at par with another method utilizing labeled question-review samples for the same task.

연구 동기 및 목표

• 주관적인 질문에 답하기 위해 자동으로 관련 제품 리뷰를 검색함으로써 전자상거래 Q&A 포럼에서의 답변 부족과 답변 증강 문제를 해결한다.
• 레이블이 있는 질문-답변 쌍과 레이블이 없는 질문-리뷰 쌍 사이의 도메인 이탈 문제를 해결한다. 이 둘은 서로 다른 언어적 분포를 가진다.
• 레이블이 있는 질문-답변 쌍에서만 약한 지도 학습을 사용하고, 풍부한 레이블이 없는 리뷰 데이터를 활용하는 최소한의 지도 학습 방법을 개발한다.
• 리뷰의 관련성을 명시적으로 애너테이션하지 않아도, 관련 리뷰 문장을 답변 대안으로 끝내기까지의 엔드 투 엔드 학습을 가능하게 한다.
• 적대적 도메인 훈련이 서로 다른 분포를 가진 질문-답변 쌍과 질문-리뷰 쌍의 표현을 효과적으로 정렬할 수 있음을 입증한다.

제안 방법

• 공유된 임bedding 공간에서 질문-답변 쌍과 질문-리뷰 쌍을 동시에 분류할 수 있도록 도메인 적응 신경망(DANN) 프레임워크를 변형한다.
• 레이블이 있는 질문-답변 쌍을 소스 도메인 데이터로 사용하여, 리뷰 문장이 주어진 질문에 답하는지 여부를 분류하는 문장 쌍 모델(예: ABCNN, RTE)을 훈련한다.
• 도메인 특수 특징을 최소화하기 위해 도메인 구분자(도메인 식별자)를 도입함으로써, 문장 인코더가 질문-답변 쌍과 질문-리뷰 쌍 간에 도메인 불변 표현을 학습하도록 유도한다.
• 적대적 훈련 중에 전자상거래 웹사이트에서 확보한 대규모 레이블이 없는 질문-리뷰 쌍을 타겟 도메인 데이터로 활용하여 일반화 성능을 향상시킨다.
• 훈련 중에 레이블이 있는 질문-답변 쌍만을 사용하여 모델을 피지터링하고, 레이블이 없는 리뷰의 방대한 양을 활용하여 새로운 도메인에 대한 제로샷 일반화 성능을 향상시킨다.
• 역행렬 기울기 역전(backpropagation 중)을 적용하여 도메인 구분자가 문장 인코더가 도메인에 민감하지 않은 특징을 생성하도록 이끌 수 있도록 한다.

실험 결과

연구 질문

• RQ1 레이블이 있는 질문-답변 쌍과 레이블이 없는 질문-리뷰 쌍 사이의 분포 격차를 적대적 도메인 적응이 효과적으로 메울 수 있는가?
• RQ2 레이블이 있는 질문-답변 쌍으로만 훈련된 모델이 레이블이 없는 리뷰 데이터 없이도 새로운 주관적인 제품 질문에 대해 관련 리뷰를 식별하는 데 얼마나 잘 일반화되는가?
• RQ3 큰 규모의 레이블이 없는 리뷰를 통합함으로써, 지도 학습 기반 모델 대비 도메인 외 질문-리뷰 쌍 분류 성능이 향상되는가?
• RQ4 레이블이 있는 질문-리뷰 쌍이 필요한 완전히 지도 학습된 모델과 비교했을 때 제안된 방법의 성능는 어떠한가?
• RQ5 리뷰가 관련성에 대해 명시적으로 애너테이션되지 않았더라도, 모델이 관련 리뷰 문장을 답변 대안으로 식별할 수 있는가?

주요 결과

• DANN 기반 모델은 도메인 외 질문-리뷰 쌍 분류에서 77.17%의 정확도를 기록했으며, ABCNN(64.0%)와 RTE(66.67%)와 같은 베이스라인 모델보다 유의미하게 뛰어난 성능을 보였다.
• 레이블이 있는 질문-답변 쌍만을 사용하고 레이블이 없는 리뷰 데이터는 전혀 사용하지 않았음에도 불구하고, F1 점수(56.23% 대 57.05%)에서는 완전히 지도 학습된 방법(QAR-Net)을 초월했으며, 정밀도(64.11% 대 53.85%)에서도 뛰어난 성능을 보였다.
• 도메인 적응은 타겟 도메인 평가 성능을 크게 향상시켰으며, 도메인 적응 없이 테스트한 경우 정확도가 50.11%에서 도메인 적응을 적용한 경우 77.17%로 상승했다.
• 모델는 새로운 도메인에 잘 일반화되었으며, 적대적 훈련 이후 타겟 도메인 테스트 세트에서 성능 향상이 뚜렷하게 관찰되어 효과적인 도메인 일반화 능력을 입증했다.
• 표본 5의 질적 예시에서 실제 질문에 대해 모델이 관련 리뷰 문장을 정확히 식별하는 것으로 나타났으며, 리뷰에 대해 명시적인 지도 학습 없이도 적절한 답변을 도출했다.
• 제거 분석(Ablation study) 결과 도메인 적응이 성능 향상의 핵심 요인임을 확인했으며, 전자제품, 자동차, 유아용품 등 모든 카테고리에서 도메인 적응이 적용된 모델이 모든 베이스라인을 능가했다.