[논문 리뷰] Ranking and Selecting Multi-Hop Knowledge Paths to Better Predict Human Needs

Debjit Paul, Anette Frank|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling참고 문헌 33인용 수 7

한 줄 요약

이 논문은 서사 텍스트에서 감정의 근본 원인인 인간의 욕구를 예측하기 위해 ConceptNet에서 다단계 지식 경로를 순위 매기고 선택하는 새로운 신경망 모델을 제안한다. 게이트형 어텐션 메커니즘을 통해 이러한 경로를 통합함으로써, MNPCSCS 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 희귀 레이블에 대해 정확도가 향상되었고, 입력 토큰과 지식 경로에 대한 어텐션 맵을 통해 해석 가능성도 향상되었다.

ABSTRACT

To make machines better understand sentiments, research needs to move from polarity identification to understanding the reasons that underlie the expression of sentiment. Categorizing the goals or needs of humans is one way to explain the expression of sentiment in text. Humans are good at understanding situations described in natural language and can easily connect them to the character's psychological needs using commonsense knowledge. We present a novel method to extract, rank, filter and select multi-hop relation paths from a commonsense knowledge resource to interpret the expression of sentiment in terms of their underlying human needs. We efficiently integrate the acquired knowledge paths in a neural model that interfaces context representations with knowledge using a gated attention mechanism. We assess the model's performance on a recently published dataset for categorizing human needs. Selectively integrating knowledge paths boosts performance and establishes a new state-of-the-art. Our model offers interpretability through the learned attention map over commonsense knowledge paths. Human evaluation highlights the relevance of the encoded knowledge.

연구 동기 및 목표

• 서사 텍스트에서 감정 표현의 근본 원인인 인간의 욕구를 식별함으로써 극성 감성 분석을 초월하는 것을 목표로 한다.
• 표면적인 텍스트를 넘어서 공통된 지각을 필요로 하는 암묵적인 심리적 욕구를 맥락에서 유추하는 도전 과제를 해결하는 것.
• 공동 지각 지식 기반(ConceptNet)에서 다단계 지식 경로를 추출하고, 순위를 매기며 선택적으로 통합하여 이야기 속 정서 반응을 설명하는 방법을 개발하는 것.
• 입력 토큰과 선택된 지식 경로에 대한 어テン션을 가능하게 함으로써 모델의 해석 가능성 향상.
• 인간 평가를 통해 추출된 지식 경로의 관련성을 평가하고, 성능 향상에 기여하는 바를 입증하는 것.

제안 방법

• 모델은 입력 맥락을 인코딩하기 위해 ELMo 임베딩을 사용하고, 게이트형 어텐션 메커니즘을 통해 ConceptNet에서 선택된 다단계 지식 경로를 통합한다.
• 다단계 관계 경로는 그래프 기반 특징과 알고리즘(예: 개인화된 페이지랭크(PPR) 및 중심성 측정)의 조합을 사용하여 ConceptNet에서 추출되며, 관련성 순위를 매긴다.
• 관련성 스코링 함수는 경로 특징(예: 경로 길이, 노드 중심성, 의미 유사도 등)을 조합하여 후보 경로의 순위를 매기고 선택한다.
• 모델은 두 가지 어텐션 메커니즘을 사용한다: 하나는 입력 토큰에 대한 것(식 (6)을 통해), 다른 하나는 지식 경로에 대한 것(식 (15)를 통해), 이를 통해 예측에 기여하는 단어와 지식 경로가 무엇인지 해석 가능성을 확보한다.
• 지식 경로는 주로 어텐션 가중치 기반으로 필터링되고 선택되어, 맥락과 인간의 욕구 사이에서 가장 관련성이 높은 연관성만 사용된다.
• 엔드 투 엔드 아키텍처는 다중 레이블 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 인간의 욕구 분류 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 ConceptNet에서 유도된 다단계 지식 경로는 서사 텍스트에서 인간의 욕구 예측에 기여하는가?
• RQ2 제안된 그래프 기반 순위 매기기 방법은 공통 지각 지식 기반에서 관련성이 높은 다단계 경로를 선택하는 데 얼마나 효과적인가?
• RQ3 선택적으로 통합된 지식 경로를 통합함으로써, 단지 맥락 임베딩만 사용하는 기준 모델보다 성능 향상이 이루어지는가?
• RQ4 지식 경로에 대한 어텐션 맵은 인간이 이해할 수 있는 정서 상태에 대한 추론을 어느 정도 반영하는가?
• RQ5 인간 평가자들이 이야기 속 정서 반응을 설명하는 데 있어 추출된 지식 경로를 관련성이 있다고 평가하는가?

주요 결과

• ELMo와 지식 통합을 사용할 경우 모델은 MNPCSCS 데이터셋에서 F1 스코어 39.83을 기록하여 지식 통합 없이 사용할 경우(38.39)보다 최신 기술 수준(SOTA) 성능을 달성한다.
• 지식 통합은 모든 인간의 욕구 카테고리에서 성능 향상을 이끌었으며, 특히 '영예', '이념', '권력'과 같은 희귀 레이블에서 가장 큰 성과를 보였다.
• 인간 평가 결과, 다수의 일致 기준으로 34%의 추출된 지식 경로가 전문 평가자들에 의해 관련성이 있다고 평가되어, 효과적인 경로 관련성 선택이 이루어졌음을 시사한다.
• 어텐션 시각화 결과, 모델이 핵심 입력 토큰(예: 'exhausting')과 관련 지식 경로(예: 'exhausting → fatigue → desire rest')를 정확히 식별하여 맥락과 정확한 인간의 욕구(예: 'rest')를 연결하고 있음을 확인하였다.
• 맥락이 포함될 경우, 모델은 '경쟁'과 '호기심'을 예측하지만, 맥락이 없을 경우 동일한 문장에 대해 '호기심'만 예측한다.
• 모델은 강력한 해석 가능성을 보이며, 입력 토큰 어텐션과 지식 경로 어텐션 맵이 모두 예측에 사용된 언어적 및 공통 지각적 단서를 명확히 강조하고 있다.