[논문 리뷰] Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model

Hamid Mohammadi, Seyed Hossein Khasteh외 2명|arXiv (Cornell University)|2019. 12. 12.

Text Readability and Simplification인용 수 13

한 줄 요약

이 논문은 BERT보다 입력 길이의 절반 이하로도 상태최저 성능을 달성하면서 텍스트의 난이도를 평가하는 데 하드 어텐션과 능동적 추론을 사용하는 딥 강화학습 모델 RAIT을 제안한다. 강화학습을 통해 정보가 많은 텍스트 창문을 동적으로 선택함으로써 RAIT은 계산 부담을 줄이고 Weebit 및 캠브리지 시험 데이터셋에서 높은 성능을 유지한다.

ABSTRACT

Evaluating the readability of a text can significantly facilitate the precise expression of information in written form. The formulation of text readability assessment involves the identification of meaningful properties of the text regardless of its length. Sophisticated features and models are used to evaluate the comprehensibility of texts accurately. Despite this, the problem of assessing texts' readability efficiently remains relatively untouched. The efficiency of state-of-the-art text readability assessment models can be further improved using deep reinforcement learning models. Using a hard attention-based active inference technique, the proposed approach makes efficient use of input text and computational resources. Through the use of semi-supervised signals, the reinforcement learning model uses the minimum amount of text in order to determine text's readability. A comparison of the model on Weebit and Cambridge Exams with state-of-the-art models, such as the BERT text readability model, shows that it is capable of achieving state-of-the-art accuracy with a significantly smaller amount of input text than other models.

연구 동기 및 목표

• 기존의 텍스트 난이도 평가 모델들이 정확한 평가에 충분한 부분 입력으로도 전체 텍스트를 처리하는 데서 기인하는 비효율성을 해결하기 위해.
• 자기어텐션을 작은 동적 입력 창문으로 제한함으로써 트랜스포머 기반 모델의 계산 복잡도를 줄이기 위해.
• 강화학습을 활용해 난이도 분류에 가장 정보가 많은 텍스트 세그먼트를 지능적으로 선택하는 방법을 개발하기 위해.
• 입력 길이와 추론 지연을 크게 줄이면서도 전체 시퀀스 BERT 모델과 비교해 높은 정확도를 유지하기 위해.
• 주어진 주의 메커니즘에 도메인 분해를 적용해 자연어 처리 작업에서 능동적 추론의 가능성을 탐색하기 위해.

제안 방법

• 모델은 에이전트가 한 번에 작은 연속된 단어 창문만 관찰할 수 있도록 하는 하드 어텐션 메커니즘을 사용하여 '읽기' 과정을 시뮬레이션한다.
• 강화학습을 통해 에이전트가 '왼쪽으로 이동', '오른쪽으로 이동', 또는 '정지'와 같은 동작을 취하여 텍스트를 탐색하고 최적의 관측 창문을 선택하도록 훈련시킨다.
• 에이전트의 정책은 읽기 난이도 예측 정확도를 최대화하고 관측 창문 수를 최소화하는 데 목적이 있는 강화학습 손실 함수를 사용해 최적화된다.
• 입력 텍스트를 하위 문제들로 나누기 위한 도메인 분해 방법(Domain Decomposition Method, DDM)을 적용하며, 부분 표현을 결합하기 위해 강화학습을 통해 전역 해답을 집계한다.
• 모델은 특징 추출을 위해 미리 훈련된 BERT 인코더를 통합하며, 강화학습 에이전트가 입력 창문의 크기와 위치를 제어한다.
• 식 5와 6은 여러 창문에서의 부분 예측을 조합해 최종 난이도 결정을 만드는 전역 해답 집계 전략을 기술한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 에이전트가 정확도를 희생시키지 않고도 텍스트 난이도 평가를 위한 입력 크기를 효과적으로 줄일 수 있는가?
• RQ2 능동적 추론을 통한 동적 창문 선택 방식이 고정 창문 또는 전체 시퀀스 어텐션과 비교해 계산 효율성과 정확도 측면에서 어떻게 다른가?
• RQ3 자기어텐션의 도메인 분해가 난이도 작업을 위한 트랜스포머 모델에서 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ4 최소한의 레이블이 있는 데이터로도 반감독 신호를 활용해 에이전트를 훈련시킬 수 있으며, 높은 성능을 유지할 수 있는가?
• RQ5 모델은 교육, 의료, 소셜 미디어 텍스트와 같은 다양한 텍스트 유형과 도메인으로 일반화되는가?

주요 결과

• RAIT는 Weebit 및 캠브리지 시험 데이터셋에서 각각 F1 점수 0.943과 0.762를 기록하며 상태최저 성능을 달성했으며, 이는 256단어 입력 창문을 사용할 때에도 가능했다.
• 64단어 창문을 사용할 경우 추론 지연을 2.1ms로 줄였고, 전체 BERT의 12.6ms 대비 93.8%와 75.5%의 F1 점수를 유지했다.
• 입력 길이가 제한된 조건에서 RAIT는 BERT 및 ConvLSTM 모델을 능가하며, 자원이 제한된 환경에서 뛰어난 효율성을 보였다.
• 256, 128, 64단어 창문 크기에 대해 평균적으로 각각 1.2, 1.7, 2.1개의 관측 창문을 사용했으며, 효과적인 샘플링을 보여주었다.
• 강화학습 기반 전역 집계 전략은 제한된 자기어텐션 범위가 초래하는 부정적 영향을 완화하여, 줄어든 맥락에도 불구하고 정확도를 유지했다.
• RAIT의 전체 창문 버전(100% 입력)은 Weebit에서 표준 BERT와 동일한 정확도(F1 = 0.943)를 기록했으며, 이는 본 방법이 전체 입력 시나리오와도 호환됨을 확인한다.