[논문 리뷰] DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis

Hu Xu, Bing Liu외 2명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 44인용 수 5

한 줄 요약

DomBERT는 도메인 내 및 관련 소스 도메인에서 학습함으로써 자원이 제한된 도메인에서 개선된 액서트-기반 감성 분석(ABSA)을 수행하는 BERT 기반 언어 모델이다. 동적으로 도메인 관련 학습 예제를 샘플링함으로써 성능을 햖थ하며, 이전 방법보다 훨씬 적은 도메인 내 데이터로 AE, ASC, E2E-ABSA 작업에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

This paper focuses on learning domain-oriented language models driven by end tasks, which aims to combine the worlds of both general-purpose language models (such as ELMo and BERT) and domain-specific language understanding. We propose DomBERT, an extension of BERT to learn from both in-domain corpus and relevant domain corpora. This helps in learning domain language models with low-resources. Experiments are conducted on an assortment of tasks in aspect-based sentiment analysis, demonstrating promising results.

연구 동기 및 목표

• 일반 목적의 언어 모델(BERT 등)이 혼합 도메인 사전 훈련으로 인해 세밀한 도메인 특화 감성 패턴을 포착하지 못하는 한계를 해결하기 위해.
• 관련되고 다양한 소스 도메인의 지식을 활용하여 자원이 제한된 도메인의 데이터 부족 문제를 해결하기 위해.
• 도메인 내 집중과 의미적으로 관련된 도메인으로부터의 지식 전이를 균형 있게 유지하는 도메인 중심의 학습 프레임워크를 개발하기 위해.
• 인간 레이블링이 필요한 도메인 특화 데이터 없이도 자원이 제한된 환경에서 액서트-기반 감성 분석(ABSA) 성능을 향상시키기 위해.

제안 방법

• 목표 도메인에 대한 도메인 관련성을 기반으로 훈련 예제의 가중치를 재조정하는 도메인 인식 훈련 목표를 BERT에 확장하기 위해.
• 보조 도메인 분류 작업을 통해 학습된 도메인 임베딩을 사용하여 사전 훈련 중에 관련 소스 도메인을 식별하고 우선순위를 정하기 위해.
• RoBERTa의 개선 사항을 따르며, 동적 마스킹을 통합하고 다음 문장 예측(NSP) 작업을 제거하기 위해.
• ALBERT와 마찬가지로 드롭아웃 제거를 적용하여 자원이 제한된 환경에서 과적합을 줄이기 위해.
• 도메인 태그로 분할된 혼합 도메인 코퍼스를 사용하여 DomBERT를 훈련함으로써, 목표 도메인과 관련된 소스 도메인 양쪽에서 샘플링할 수 있도록 하기 위해.
• 태스크 특화 애너테이션의 필요 없이 도메인 태그를 약한 지도 신호로 사용하는 자기 지율 학습을 적용하기 위해.

실험 결과

연구 질문

• RQ1 목표 도메인과 관련된 소스 도메인의 혼합으로 사전 훈련된 언어 모델이 일반 목적 모델이나 도메인 내 데이터 전용 모델보다 자원이 제한된 ABSA에서 성능을 더 잘 내는가?
• RQ2 균일하거나 무작위 샘플링과 비교해 도메인 인식 예제 샘플링이 액서트 기반 감성 분석 작업의 성능 향상에 얼마나 효과적인가?
• RQ3 의미적으로 관련된 도메인(예: 데스크톱은 노트북과 관련)의 지식은 얼마나 제한된 도메인 내 훈련 데이터를 보완할 수 있는가?
• RQ4 제안된 도메인 중심 학습 프레임워크는 다양한 ABSA 하위 작업(AE, ASC, E2E-ABSA)에 일반화되는가?
• RQ5 DomBERT의 샘플링 메커니즘이 식별한 상위 소스 도메인 20개는 인간의 도메인 관련성 인식과 얼마나 일치하는가?

주요 결과

• DomBERT는 랩탑 도메인에서 F1 점수 83.89, 레스토랑 도메인에서 77.21을 기록하여 액서트 추출(AE)에서 SOTA 성능을 달성하였으며, BERT-DK보다 우수한 성능을 보였지만 도메인 내 데이터는 100MB만 사용하였다.
• 액서트 감성 분류(ASC)에서 DomBERT는 랩탑에서 73.46 MF1, 레스토랑에서 75.00 MF1를 기록하여 도메인 내 데이터가 제한된 상황에서도 뛰어난 성능을 보였다.
• 엔드 투 엔드 ABSA에서 DomBERT는 랩탑에서 66.21 F1, 레스토랑에서 73.45 F1를 기록하여 BERT-Review와 BERT-DK를 능가함으로써 일반 지식과 도메인 특화 지식의 효과적인 통합을 보였다.
• DomBERT의 샘플러가 랩탑과 레스토랑 도메인에 대해 식별한 상위 20개 소스 도메인은 매우 관련성이 높았으며(예: '컴퓨터 및 액세서리', '전자기기 보증', '커피 및 차'), 이는 모델이 의미 있는 도메인 관계를 학습할 수 있음을 확인한다.
• BERT-Review는 '책'과 같은 관련 없는 도메인이 과도하게 포함되어 있어 E2E-ABSA에서 성능이 열등했으며, 이는 DomBERT의 도메인 인식 샘플링의 유용성을 입증한다.
• 모델의 성능 향상은 특히 AE와 E2E-ABSA에서 가장 두드러지며, 이는 더 세밀한 액서트 수준 작업에 대해 도메인 중심 학습이 가장 효과적임을 시사한다.