[논문 리뷰] Learning Household Task Knowledge from WikiHow Descriptions

Yilun Zhou, Julie Shah외 1명|arXiv (Cornell University)|2019. 09. 13.

Topic Modeling참고 문헌 22인용 수 16

한 줄 요약

이 논문은 위키하우 기사들을 활용하여 가정용 작업과 그 절차적 단계들에 대한 동시 임bedding을 학습하는 딥러닝 모델을 제안한다. 이는 단계의 관련성과 순서 예측을 가능하게 하며, 단계 설명의 LSTM 인코딩을 활용하여 관련성 예측 정확도 0.911과 순서 예측 정확도 0.752를 달성한다. 이는 비구조화된 텍스트에서 공통 지식 기반 절차 지식을 획득할 수 있음을 보여준다.

ABSTRACT

Commonsense procedural knowledge is important for AI agents and robots that operate in a human environment. While previous attempts at constructing procedural knowledge are mostly rule- and template-based, recent advances in deep learning provide the possibility of acquiring such knowledge directly from natural language sources. As a first step in this direction, we propose a model to learn embeddings for tasks, as well as the individual steps that need to be taken to solve them, based on WikiHow articles. We learn these embeddings such that they are predictive of both step relevance and step ordering. We also experiment with the use of integer programming for inferring consistent global step orderings from noisy pairwise predictions.

연구 동기 및 목표

• 비구조화된 자연어 텍스트에서 공통 지식 기반 절차 지식을 획득하는 방법을 개발하는 것.
• 작업과 단계에 대한 임bedding을 동시에 학습하여 단계의 관련성과 정확한 순서 예측이 가능하도록 하는 것.
• 모델의 성능을 단계 관련성 예측 및 단계 순서 예측이라는 두 가지 핵심 과제에서 평가하는 것.
• 정수 프로그래밍이 모호한 쌍을 식별하여 전반적인 단계 순서 예측을 향상시킬 수 있는지 조사하는 것.
• 학습된 임bedding의 의미적 구조를 분석하여 해석 가능성과 군집화를 분석하는 것.

제안 방법

• 모델는 작업 제목과 단계 기술을 고밀도 벡터 임bedding으로 인코딩하기 위해 사이라미드 LSTM 아키텍처를 사용한다.
• 단계 설명은 문맥적 의미를 포착하기 위해 양방향 LSTM을 사용해 인코딩된다.
• 모델는 작업과 단계 임bedding 간의 유사도 점수를 통해 단계 관련성을 예측한다.
• 두 단계 간의 쌍별 순위 손실을 사용하여 순서 예측을 수행하며, 올바른 순서가 더 높은 순위를 받도록 훈련된다.
• 훈련 후 정수 프로그래밍을 적용하여 노이즈가 있는 쌍별 예측에서 일관된 전반적 순서를 유추한다.
• t-SNE는 2차원으로 압축된 공간에서 작업 임bedding의 의미적 군집을 시각화하는 데 사용된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 비구조화된 위키하우 기사들로부터 절차 지식을 효과적으로 추출할 수 있는가?
• RQ2 학습된 임bedding은 특정 가정용 작업에 속하는 주어진 단계가 맞는지 얼마나 잘 예측할 수 있는가?
• RQ3 모델는 작업 내에서 비연속적인 두 단계의 정확한 순서를 어느 정도 잘 예측할 수 있는가?
• RQ4 정수 프로그래밍을 통해 모호한 단계 쌍을 식별함으로써 전반적인 단계 순서 예측을 향상시킬 수 있는가?
• RQ5 학습된 작업 임bedding에서 어떤 의미적 구조가 드러나며, 이는 의미 있는 군집을 반영하는가?

주요 결과

• LSTM로 인코딩된 단계 설명을 사용한 전체 모델은 단계 관련성 예측 정확도 0.911을 달성하여 기준 모델을 능가했다.
• 모델는 노이즈가 존재하는 상황에서도 강력한 성능을 보이며 단계 순서 예측 정확도 0.752를 달성했다.
• 단계 설명에 대해 단어의 집합(Bag-of-Words) 표현을 사용한 경우에도 설명이 없는 경우보다 성능 향상이 있었지만, LSTM 인코딩보다는 낮았다.
• 모델는 과적합의 징후를 보였으며, 훈련 정확도는 높게 유지되었고 검증 정확도는 수천 번의 반복 후 정체되었다.
• 정수 프로그래밍 추론은 무작위 모호성 할당 대비 오류 감소를 개선했지만, 개선 폭은 미미하여 훈련 신호 일관성의 한계를 시사했다.
• t-SNE 시각화 결과 관련된 가정용 작업들이 의미적으로 유의미한 군집을 이룬 것으로 나타나, 임bedding이 일관된 개념적 군집을 포착하고 있음을 보여주었다.