[논문 리뷰] UnifiedABSA: A Unified ABSA Framework Based on Multi-task Instruction Tuning

Zengzhi Wang, Rui Xia외 1명|arXiv (Cornell University)|2022. 11. 20.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

UnifiedABSA는 다중 작업 지시 튜닝을 사용하여 11개의 다양한 ABSA 작업을 하나의 통합 프레임워크로 모델링함으로써 개별 작업에 특화된 지침을 사용한 개별 작업 기반 감성 분석(ABSA)을 위한 통합 프레임워크를 제안한다. 이는 레이블이 부족한 데이터로도 뛰어난 성능을 달성하며, 전용 모델 대비 90% 적은 스토리지와 훨씬 적은 레이블 데이터를 요구하여 저자원 환경에서 평균 5% F1 점수 향상을 달성한다.

ABSTRACT

Aspect-Based Sentiment Analysis (ABSA) aims to provide fine-grained aspect-level sentiment information. There are many ABSA tasks, and the current dominant paradigm is to train task-specific models for each task. However, application scenarios of ABSA tasks are often diverse. This solution usually requires a large amount of labeled data from each task to perform excellently. These dedicated models are separately trained and separately predicted, ignoring the relationship between tasks. To tackle these issues, we present UnifiedABSA, a general-purpose ABSA framework based on multi-task instruction tuning, which can uniformly model various tasks and capture the inter-task dependency with multi-task learning. Extensive experiments on two benchmark datasets show that UnifiedABSA can significantly outperform dedicated models on 11 ABSA tasks and show its superiority in terms of data efficiency.

연구 동기 및 목표

• 각 작업에 대해 대규모 레이블 데이터셋이 필요로 하는 전용 ABSA 모델의 비효율성과 지식 공유 부족 문제를 해결하기 위해.
• 다중 작업 학습과 지시 튜닝을 활용하여 다수의 아웃풋 기반 감성 분석 작업을 하나의 일반 목적 프레임워크로 통합하기 위해.
• 모든 11개의 ABSA 작업을 ACOSQE 작업에만 레이블링된 데이터에서 유도함으로써 애너테이션 및 학습 오버헤드를 줄이고 데이터 효율성을 향상시키기 위해.
• 11개의 별도 모델 대신 하나의 통합 모델로 교체함으로써 스토리지 비용을 절감하고 확장 가능한 배포를 가능하게 하기 위해.
• 단일 통합 모델이 전체 레이블링된 설정과 저자원 설정에서 모두 전용 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• T5와 BART와 같은 사전 학습된 언어 모델을 사용하여 모든 ABSA 작업을 조건부 텍스트-텍스트 생성 문제로 재구성한다.
• 정의된 템플릿에 따라 구조화된 출력을 생성하도록 유도하기 위해 작업별 지침을 제공하는 통합 감성 지시(USI)를 설계한다.
• 모델을 ACOSQE 레이블 데이터에 대해 한 번만 학습하여 지시 기반 프롬프팅을 통해 11개의 모든 ABSA 작업을 지원함으로써 작업별 미세조정을 피한다.
• 다양한 작업 간의 상호의존성을 포착하고 관련 작업 간의 일반화 능력을 향상시키기 위해 다중 작업 학습을 활용한다.
• 아키텍처 수정 없이도 모든 작업을 처리할 수 있는 단일 모델 아키텍처를 사용하여 새로운 작업에의 확장성을 보장한다.
• 자연어 지시의 의미적 풍부성을 활용하여 저자원 환경에서의 제로샷 및 피어샷 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 통합 모델이 전용 모델과 비교해 유사하거나 더 높은 성능을 내며 11개의 다양한 ABSA 작업을 효과적으로 처리할 수 있는가?
• RQ2 지시 튜닝이 저자원 ABSA 환경에서 데이터 효율성에 얼마나 기여하는가?
• RQ3 스토리지 효율성과 모델 확장성 측면에서 통합 프레임워크는 전용 모델보다 어떻게 비교되는가?
• RQ4 다중 작업 학습을 통해 작업 간 상호의존성을 포착하면 모든 작업에서 성능 향상이 이루어지는가?
• RQ5 ACOSQE 데이터에 대해서만 훈련된 모델이 다른 모든 ABSA 작업으로 높은 정확도로 일반화될 수 있는가?

주요 결과

• UnifiedABSA는 두 개의 벤치마크 데이터셋에서 11개의 ABSA 작업 전반에 걸쳐 전체 레이블링된 설정에서 전용 모델보다 평균 1-2% F1 점수 향상을 달성한다.
• 32개의 훈련 예제만으로도 저자원 환경에서 UnifiedABSA는 전용 모델 대비 평균 5% F1 점수 향상을 기록한다.
• UnifiedABSA는 전용 모델과 비교해 훈련 데이터의 절반만으로도 유사한 성능을 달성하여 강력한 데이터 효율성을 입증한다.
• 11개의 별도 전용 모델을 훈련하는 것과 비교해 스토리지 요구량을 90% 이상 감소시켜 매우 확장 가능한 프레임워크임을 입증한다.
• ACOSQE 데이터에 대해서만 훈련되었음에도 불구하고 UnifiedABSA는 모든 데이터셋과 데이터 환경에서 전용 ACOSQE 모델을 일관되게 능가한다.
• 전체 레이블링된 설정과 저자원 환경 모두에서 뛰어난 성능을 보이며, 이는 모델의 강건성과 일반화 능력을 입증한다.