[논문 리뷰] PyABSA: A Modularized Framework for Reproducible Aspect-based Sentiment Analysis

Heng Yang, Ke Li외 1명|arXiv (Cornell University)|2022. 08. 02.

Sentiment Analysis and Opinion Mining인용 수 9

한 줄 요약

PyABSA는 모듈러하고 PyTorch 기반의 프레임워크로, 3개의 하위 작업인 관점 용어 추출(ATE), 관점 감성 분류(ASC), 종단 간 ABSA(E2EABSA)를 통해 복수의 모델 29종과 데이터셋 26종을 지원함으로써 재현 가능한 관점 기반 감성 분석(ABSA)을 가능하게 한다. 최소한의 코드로 모델 훈련, 평가 및 추론을 단순화하며, 데이터 부족 문제를 해결하기 위해 내장된 데이터 증강 및 주석 도구를 제공하여 평균적으로 모델 정확도를 1~3% 향상시킨다.

ABSTRACT

The advancement of aspect-based sentiment analysis (ABSA) has urged the lack of a user-friendly framework that can largely lower the difficulty of reproducing state-of-the-art ABSA performance, especially for beginners. To meet the demand, we present \our, a modularized framework built on PyTorch for reproducible ABSA. To facilitate ABSA research, PyABSA supports several ABSA subtasks, including aspect term extraction, aspect sentiment classification, and end-to-end aspect-based sentiment analysis. Concretely, PyABSA integrates 29 models and 26 datasets. With just a few lines of code, the result of a model on a specific dataset can be reproduced. With a modularized design, PyABSA can also be flexibly extended to considered models, datasets, and other related tasks. Besides, PyABSA highlights its data augmentation and annotation features, which significantly address data scarcity. All are welcome to have a try at \url{https://github.com/yangheng95/PyABSA}.

연구 동기 및 목표

• 다양한 모델 아키텍처와 최적화 방식으로 인해 최신 기술의 ABSA 결과 재현이 어려운 문제를 해결하기 위해.
• 최소한의 코드로 모델 결과를 신속히 재현할 수 있도록 함으로써 ABSA 연구 초보자들의 진입 장벽을 낮추기 위해.
• 새로운 모델, 데이터셋 및 연관 작업에 쉽게 확장할 수 있는 유연하고 모듈러한 프레임워크를 제공하기 위해.
• 자동화된 데이터 증강을 통해 ABSA에서의 데이터 부족 문제를 완화하고, 각 데이터셋당 20만 개 이상의 추가 예제를 생성하기 위해.
• 사용자 정의 데이터셋을 위한 통합된 데이터 주석 인터페이스를 통해 커뮤니티 기여를 지원하기 위해.

제안 방법

• PyABSA는 확장성을 위해 다섯 가지 핵심 구성 요소인 템플릿 클래스, 구성 관리자, 데이터셋 관리자, 메트릭 시각화 도구, 체크포인트 관리자로 구성된 모듈러 아키텍처를 구현한다.
• HuggingFace Transformers와의 호환성을 고려해 BERT 기반, 어텐션 기반, 그래프 기반 아키텍처를 포함한 총 29종의 사전 학습 및 커스터마이즈된 모델을 지원한다.
• 표준화된 API를 통해 ATE, ASC, E2EABSA 하위 작업에 대해 종단 간 훈련, 평가 및 추론을 몇 줄의 코드로 간편하게 수행할 수 있다.
• ABSA에 특화된 데이터 증강기능을 내장하여 합성 예제를 생성함으로써 데이터셋 크기를 최대 20만 개 이상 증가시키고, 모델 정확도를 평균 1~3% 향상시킨다.
• 성능 비교를 위한 자동화된 메트릭 시각화 시스템이 탑재되어 있으며, 궤적, 상자 그림, 비너 그림, 산점도, 유의성 플롯(예: Scott-Knot 검정, A12 효과 크기)을 자동 생성한다.
• 주석 인터페이스를 통해 사용자가 새로운 데이터셋을 기여할 수 있어 커뮤니티 기반의 데이터 확장이 가능하다.

실험 결과

연구 질문

• RQ1 모듈러한 프레임워크가 관점 기반 감성 분석에서 최신 기술 결과를 재현하기 위해 필요한 노력의 정도를 크게 줄일 수 있는가?
• RQ2 자동화된 데이터 증강이 자원이 제한된 ABSA 환경에서 모델 성능 향상에 어느 정도 기여하는가?
• RQ3 통합된 프레임워크가 다양한 모델 아키텍처와 최적화 전략을 다수의 ABSA 하위 작업에 걸쳐 효과적으로 지원할 수 있는가?
• RQ4 표준화되고 확장 가능한 프레임워크가 ABSA 연구 초보자들에게 접근성을 향상시킬 수 있는가?
• RQ5 내장된 메트릭 시각화 기능이 다양한 설정 간 공정하고 투명한 모델 비교를 어떻게 지원하는가?

주요 결과

• PyABSA는 몇 줄의 코드로도 지원되는 모든 데이터셋에서 모델 결과의 재현을 가능하게 하여 초보자들이 접근하기 위한 장벽을 크게 낮춘다.
• 프레임워크는 ATE, ASC, E2EABSA 하위 작업에서 총 29개의 모델과 26개의 데이터셋을 지원하며, BERT 및 기타 HuggingFace 모델과의 완전한 호환성을 확보한다.
• 내장된 증강기능을 활용한 데이터 증강을 통해 각 데이터셋당 최대 20만 개 이상의 추가 예제를 생성하여 평균적으로 모델 정확도를 1~3% 향상시킨다.
• 메트릭 시각화 시스템은 궤적, 상자 그림, 비너 그림, 산점도, Scott-Knot 검정, A12 효과 크기 등 포괄적인 플롯을 자동 생성하여 객관적인 성능 비교를 가능하게 한다.
• 훈련된 모델 체크포인트는 Hugging Face Model Hub를 통해 제공되어 모든 실험의 정확한 재현이 가능하다.
• 모듈러한 설계 덕분에 최소한의 코드 변경으로 새로운 모델, 데이터셋 및 작업에 쉽게 확장이 가능하다.