[논문 리뷰] Product Function Need Recognition via Semi-supervised Attention Network

Hu Xu, Sihong Xie외 2명|arXiv (Cornell University)|2017. 12. 06.

Advanced Text Analysis Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 전자상거래 QA 포럼에서 고객 질문으로부터 제품 기능 요구사항을 인식하기 위해 반감독형 주의망(SAN)을 제안한다. 주어진 질문의 맥락적 정보로 비라벨 질문을 활용함으로써 SAN은 시퀀스 레이블링 성능을 향상시키며, 제품 기능 추출을 위한 새로 작성된 밀도 높은 QA 코퍼스에서 최신 기준인 F1 스코어 0.776을 달 đạt한다.

ABSTRACT

Functionality is of utmost importance to customers when they purchase products. However, it is unclear to customers whether a product can really satisfy their needs on functions. Further, missing functions may be intentionally hidden by the manufacturers or the sellers. As a result, a customer needs to spend a fair amount of time before purchasing or just purchase the product on his/her own risk. In this paper, we first identify a novel QA corpus that is dense on product functionality information \footnote{The annotated corpus can be found at \url{https://www.cs.uic.edu/~hxu/}.}. We then design a neural network called Semi-supervised Attention Network (SAN) to discover product functions from questions. This model leverages unlabeled data as contextual information to perform semi-supervised sequence labeling. We conduct experiments to show that the extracted function have both high coverage and accuracy, compared with a wide spectrum of baselines.

연구 동기 및 목표

• 전자상거래 플랫폼의 비정형 QA 데이터에서 고객이 요청한 제품 기능을 식별하는 과제를 해결한다.
• 라벨이 부족한 데이터와 어휘 외 단어 문제를 해결하기 위해 비라벨 데이터를 활용함으로써 기능 요구사항 인식의 한계를 극복한다.
• 주요 기능을 통합한 주의망과 반감독 학습을 결합한 새로운 딥러닝 프레임워크를 개발한다.
• 향후 연구를 지원하기 위해 제품 기능에 대해 주석이 달린 고품질의 밀도 높은 QA 코퍼스를 구축한다.
• 비라벨 질문의 맥락 정보를 통합함으로써 감독 기반 기준 대비 기능 추출의 커버리지와 정확도를 향상시킨다.

제안 방법

• 라벨이 부여된 시퀀스 레이블링 모델과 비라벨 질문에 대한 주의 메커니즘을 결합한 반감독형 주의망(SAN)을 제안한다.
• 비라벨 질문의 단어들 중 관련성이 높은 것을 동적으로 가중치를 두어, 주어진 라벨이 부여된 질문의 레이블링에 활용하며, 비라벨 데이터를 보조 정보로 간주한다.
• 라벨이 부여된 질문과 비라벨 질문을 하나의 입력 시퀀스로 결합하며, 각 예제의 최대 길이는 40 토큰이다.
• 라벨된 데이터에 대한 교차 엔트로피 손실을 사용하여 모델을 종합적으로 훈련시키며, 비라벨 데이터의 표현 학습을 주의 메커니즘으로 유도한다.
• 비라벨 데이터의 정보를 활용해 희귀어나 미리 정의되지 않은 단어의 워드 임베딩을 미세조정함으로써 라벨된 어휘를 초월한 일반화 능력을 향상시킨다.
• 라벨된 질문에는 이중층 Bi-LSTM를, 비라벨 질문에는 단일층 Bi-LSTM를 적용하여 계층적 표현을 학습한다.

실험 결과

연구 질문

• RQ1 반감독형 딥러닝 모델은 전자상거래 QA 포럼의 고객 질문에서 제품 기능 요구사항을 효과적으로 인식할 수 있는가?
• RQ2 비라벨 질문을 맥락적 보조 정보로 활용할 경우, 순수하게 감독 학습 기반 방법에 비해 기능 인식 성능이 어떻게 향상되는가?
• RQ3 주의 메커니즘이 반감독 시퀀스 레이블링 설정에서 기능 요구사항 인식을 위한 표현 학습을 얼마나 향상시킬 수 있는가?
• RQ4 CRF, S-BLSTM, 및 SAN의 변종과 같은 강력한 베이스라인에 비해 제안된 SAN 모델이 정밀도, 재현율, F1 스코어 측면에서 슈퍼리어한 성능을 보이는가?
• RQ5 비라벨 데이터의 맥락적 신호를 활용함으로써, 라벨된 훈련 데이터에 존재하지 않는 새로운 기능 표현에도 모델이 일반화할 수 있는가?

주요 결과

• 제안된 SAN 모델은 F1 스코어 0.776을 달성하여 CRF(0.692), S-BLSTM(0.749), SAN(-)BLSTM2(0.759)를 포함한 모든 베이스라인을 능가한다.
• SAN은 S-BLSTM 대비 재현율을 5.8% 향상시켰다(0.721 대비 0.673), 이는 희귀어나 미리 정의되지 않은 단어를 포함한 기능 요구사항의 커버리지가 뛰어나다는 것을 보여준다.
• 정밀도는 0.839를 유지하면서 재현율을 크게 향상시켜, 정확도를 희생시키지 않은 채 비라벨 데이터를 효과적으로 활용함을 시사한다.
• 제거 실험 결과, 두 번째 Bi-LSTM 층과 비라벨 데이터에 대한 주의 메커니즘이 성능 향상에 필수적임을 확인했다.
• 비라벨 데이터의 활용은 어휘 외 단어에 대한 워드 임베딩의 효과적 튜닝을 가능하게 하여 모델의 일반화 능력을 향상시킨다.
• 공개된 새로 주석이 달린 QA 코퍼스(https://www.cs.uic.edu/~hxu/)는 기능 정보가 풍부하며, 향후 기능 요구사항 인식 연구의 유의미한 기준이 된다.