[논문 리뷰] Are "Undocumented Workers" the Same as "Illegal Aliens"? Disentangling Denotation and Connotation in Vector Spaces

Albert Webson, Zhizhong Chen외 2명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 39인용 수 6

한 줄 요약

이 논문은 사전에 학습된 단어 임베딩을 분리하여 의미적 참조(표현)와 감정/이념적 어조(함축)를 별개로 모델링할 수 있도록 하는 적대적 신경망을 제안한다. 정치어휘를 대상으로 평가한 결과, 사실적 의미에서 이념적 어조를 분리함으로써 정보 검색에서 관점의 다양성을 향상시켰다.

ABSTRACT

In politics, neologisms are frequently invented for partisan objectives. For example, "undocumented workers" and "illegal aliens" refer to the same group of people (i.e., they have the same denotation), but they carry clearly different connotations. Examples like these have traditionally posed a challenge to reference-based semantic theories and led to increasing acceptance of alternative theories (e.g., Two-Factor Semantics) among philosophers and cognitive scientists. In NLP, however, popular pretrained models encode both denotation and connotation as one entangled representation. In this study, we propose an adversarial neural network that decomposes a pretrained representation as independent denotation and connotation representations. For intrinsic interpretability, we show that words with the same denotation but different connotations (e.g., "immigrants" vs. "aliens", "estate tax" vs. "death tax") move closer to each other in denotation space while moving further apart in connotation space. For extrinsic application, we train an information retrieval system with our disentangled representations and show that the denotation vectors improve the viewpoint diversity of document rankings.

연구 동기 및 목표

• 사전에 학습된 단어 임베딩에서 표현과 함축이 얽혀 있는 문제를 해결하여 NLP 시스템에서 정치적 편향을 강화하는 것을 방지하기 위해.
• 의미적 참조(참조)와 감정/이데올로기적 어조(함축)를 별개로 해석 가능한 벡터 공간으로 분리하는 방법을 개발하기 위해.
• 내재적 평가로는 의미 유사도와 군집화를, 외재적 평가로는 정보 검색 작업을 통해 분리된 표현의 품질을 평가하기 위해.
• 표현 인식 기반 표현이 문서 순위에서 관점의 다양성을 향상시켜 이데올로기적 반복 고리(에코 챔버)를 줄이는 데 기여함을 입증하기 위해.
• 의사 및 참조 레이블을 감독 신호로 활용하여 모델을 실제 정치적 논의 환경에 기반하게 하기 위해.

제안 방법

• 사전에 학습된 단어 임베딩을 분리하기 위해 적대적 오토인코더 프레임워크를 사용하여, 표현을 위한 하나와 함축을 위한 다른 하나의 독립된 벡터 공간을 생성한다.
• 모델은 실제와 생성된 표현을 구분하도록 훈련되는 두 개의 디스criminator(표현용 및 함축용)를 사용하여, 분리의 효과를 증진시킨다.
• 손실 함수는 원본 입력의 복원 손실과 표현 및 함축에 대한 적대적 손실을 조합하여, 각 벡터 공간이 자신의 목적어휘 차원만 정확히 포착하도록 보장한다.
• 감독은 문장 수준의 레이블을 통해 제공되며, 함축에는 의사의 이데올로기, 표현에는 정책 주제 레이블이 사용되어 분리 과정을 이끌어낸다.
• 모델은 정치적 논의가 주석이 된 뉴스 코퍼스에서 훈련되어, 참조 의미와 평가적 어조 사이의 차이를 학습할 수 있도록 한다.
• 훈련 후, 표현 및 함축 벡터는 내재적 군집화와 외재적 검색 작업을 통해 평가되어 의미의 순수성과 실용성을 검증한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 사용해 사전에 학습된 단어 임베딩을 효과적으로 별개의 표현과 함축 표현으로 분리할 수 있는가?
• RQ2 분리된 표현 벡터는 같은 정책에 대해 다른 정치적 프레임에서 일관된 의미적 참조를 잘 반영하는가?
• RQ3 분리된 함축 벡터는 이데올로기적 감정을 반영하면서도 사실적 의미를 유지하는가?
• RQ4 표현 기반 벡터는 정보 검색 시스템에서 관점의 다양성을 향상시킬 수 있는가?
• RQ5 모델은 알려진 정치적 은어(예: 'undocumented workers' vs. 'illegal aliens')를 벡터 공간에서 얼마나 잘 유지하는가?

주요 결과

• 같은 표현이지만 다른 함축을 가진 단어 쌍에 대해 표현 공간의 평균 코사인 유사도는 0.944를 기록하여 높은 의미적 일관성을 보였다.
• 같은 함축이지만 다른 표현을 가진 단어 쌍에 대해 함축 공간의 평균 코사인 유사도는 0.904를 기록하여 감정의 효과적인 분리가 이루어졌음을 시사했다.
• 정보 검색 작업에서 표현 기반 순위 매칭은 관점의 다양성을 향상시켰으며, α-nDCG 점수 0.37를 기록하여 검색된 문서의 다양성이 높아졌다.
• 표현 기반 방법을 사용할 경우 문서 순위의 지니 계수는 0.153으로 떨어져 이데올로기적 동질성이 감소했음을 확인했다.
• 정성적 분석을 통해 'undocumented workers'와 'illegal aliens'가 표현 공간에서는 가까이, 함축 공간에서는 멀리 떨어져 있음을 확인하여, 모델의 의도된 행동이 올바르게 작동했음을 검증했다.
• 명시적 정의 없이도 문맥적 및 의사 수준의 감독을 통해 의미 차원을 성공적으로 분리했다.