[논문 리뷰] Rethinking Text Attribute Transfer: A Lexical Analysis

Yao Fu, Hao Zhou외 2명|arXiv (Cornell University)|2019. 09. 26.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 문장 속성(예: 감성 또는 스타일)을 결정하는 데 있어 매우 영향력 있는 '피벗 단어'(pivot words)를 식별하고 분석하기 위한 어휘적 프레임워크인 피벗 분석(Pivot Analysis)을 소개한다. 저자들은 최신 텍스트 속성 전이 모델들이 종종 이러한 피벗 단어를 교체함으로써 어휘 수준의 변화만을 수행하며 문장 문법적 구조는 거의 그대로 유지함을 보여주어, 현재 모델들이 고수준 언어적 구성성에 대한 이해에 있어 심각한 한계를 드러낸다.

ABSTRACT

Text attribute transfer is modifying certain linguistic attributes (e.g. sentiment, style, authorship, etc.) of a sentence and transforming them from one type to another. In this paper, we aim to analyze and interpret what is changed during the transfer process. We start from the observation that in many existing models and datasets, certain words within a sentence play important roles in determining the sentence attribute class. These words are referred to as extit{the Pivot Words}. Based on these pivot words, we propose a lexical analysis framework, extit{the Pivot Analysis}, to quantitatively analyze the effects of these words in text attribute classification and transfer. We apply this framework to existing datasets and models and show that: (1) the pivot words are strong features for the classification of sentence attributes; (2) to change the attribute of a sentence, many datasets only requires to change certain pivot words; (3) consequently, many transfer models only perform the lexical-level modification, while leaving higher-level sentence structures unchanged. Our work provides an in-depth understanding of linguistic attribute transfer and further identifies the future requirements and challenges of this task\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}.

연구 동기 및 목표

• 텍스트 속성 전이 과정에서 문장 속성을 결정하는 데 가장 영향력 있는 언어적 특징은 무엇인지 조사하기.
• 전이 모델이 단어만 수정하는지 아니면 문장 문법적 구조까지 재구성하는지 이해하기.
• 다양한 텍스트 속성 전이 데이터셋에서 피벗 단어를 정량적으로 식별하고 분석할 수 있는 방법 개발하기.
• 최신 기술(SOTA) 모델이 전이 과정에서 어휘 수준의 변경에 의존하는 정도와 문법적 재구성의 정도를 평가하기.
• 현재 모델들이 어휘 수준의 변경을 넘어서는 고수준 언어적 구성성 처리 능력에 있어 약점 드러내기.

제안 방법

• 문장 속성 분류에 강한 영향을 미치는 단어를 식별하기 위한 어휘 분석 프레임워크인 피벗 분석(Pivot Analysis)을 제안한다.
• 통계적 공출현 빈도와 클래스별 단어 빈도 분석에 기반한 피벗 단어 식별 알고리즘을 개발한다.
• 식별된 단어의 속성 분류 예측 능력을 정량화하기 위한 피벗 분류기(pivot classifier)를 설계한다.
• 피벗 단어의 분포적 구조를 데이터셋 전체에 걸쳐 시각화하기 위해 정밀도-재현율 히스토GRAM을 도입한다.
• 두 가지 최신 기술 모델인 제어 가능한 생성(Controllable Generation, CG)과 크로스 어라이언스(Cross Alignment, CA)의 전이 출력을 분석하기 위해 프레임워크를 적용한다.
• 문장 기초(stem)가 전이 전후로 어떻게 변화하는지 측정하기 위해 마스크된 레벤슈타인 편집 거리(masks Levenshtein edit distance)를 사용한다.

실험 결과

연구 질문

• RQ1 어떤 단어들이 피벗 단어로 작용하며, 다양한 데이터셋 간에 문장 속성 분류에 어떻게 영향을 미치는가?
• RQ2 전이 모델이 문장 문법적 구조를 변경하기보다는 오직 피벗 단어만 수정하는 데 의존하는 정도는 어느 정도인가?
• RQ3 다양한 텍스트 속성 전이 데이터셋 간에 피벗 단어의 분포는 어떻게 달라지는가?
• RQ4 피벗 효과의 강도와 데이터셋에서 속성 전이의 용이성 사이에는 어떤 관계가 있는가?
• RQ5 최신 기술 모델들이 속성 전이 과정에서 문장 구조를 얼마나 유지하는가?

주요 결과

• 많은 데이터셋에서 피벗 단어는 문장 속성의 강력한 예측자이며, 감성 전이에서 'rude'(粗暴한)와 'good'(좋은)와 같은 핵심 어휘의 정밀도 점수가 기준선보다 유의미하게 높게 나타났다(예: 0.5 이상).
• CG 모델의 경우, 74%의 전이 사례에서 영업자(Yelp) 데이터셋에서, 74%의 전이 사례에서 아마존(amazon) 데이터셋에서 피벗 단어를 마스킹한 후 문장 기초(stem)에 변화가 없었으며, 이는 문법적 구조 유지의 증거로 볼 수 있다.
• CA 모델의 경우, 37%의 전이 사례에서 피벗 단어를 마스킹한 후에도 동일한 문장 기초(stem)를 유지했으며, 이는 상당수의 사례에서 문법적 구조가 그대로 유지되었음을 시사한다.
• 어떤 데이터셋에서는 피벗 효과가 너무 강해, 몇몇 피벗 단어만 변경해도 전이가 가능함을 보여주며, 이는 결정 경계가 어휘 수준에 있음을 시사한다.
• 복잡한 모델링을 거쳐도, CG 및 CA와 같은 최신 기술 모델들은 주로 어휘 수준의 수정만을 수행하며, 문법적 재구성은 최소한으로 이루어진다.
• 식별 가능한 피벗 단어가 없는 사례는 더 깊은 문법적 및 의미적 이해가 필요함을 드러내며, 향후 모델의 핵심 과제로 지적된다.