[논문 리뷰] What can you do with a rock? Affordance extraction via word embeddings

Nancy Fulda, Daniel Ricks외 2명|arXiv (Cornell University)|2017. 03. 09.

Topic Modeling참고 문헌 23인용 수 20

한 줄 요약

이 논문은 위키백과에서 훈련된 단어 임베딩을 사용하여 객체의 기능(특정 맥락에서 가능한 동작)을 추출함으로써, 텍스트 기반 환경에서 강화학습 에이전트가 무의미한 동작을 줄일 수 있도록 제안한다. 단어 벡터를 지식 기반으로 간주하고 선형 대수학을 통해 질의함으로써, 학습 효율성을 향상시키고 인간과 유사한 동작 선택을 가능하게 하여 테스트된 게임에서 총 단계 수를 최대 60% 감소시켰으며, 보상 획득 능력은 유지하거나 향상시켰다.

ABSTRACT

Autonomous agents must often detect affordances: the set of behaviors enabled by a situation. Affordance detection is particularly helpful in domains with large action spaces, allowing the agent to prune its search space by avoiding futile behaviors. This paper presents a method for affordance extraction via word embeddings trained on a Wikipedia corpus. The resulting word vectors are treated as a common knowledge database which can be queried using linear algebra. We apply this method to a reinforcement learning agent in a text-only environment and show that affordance-based action selection improves performance most of the time. Our method increases the computational complexity of each learning step but significantly reduces the total number of steps needed. In addition, the agent's action selections begin to resemble those a human would choose.

연구 동기 및 목표

• 텍스트 기반 환경에서 큰 동작 공간을 가진 강화학습 에이전트의 비효율적 탐색 문제를 해결하기 위해.
• 수동으로 설정된 규칙나 명시적 지식 기반 시스템에 의존하지 않고도 맥락적으로 가능한 동작(기능)을 탐지할 수 있도록 하기 위해.
• 사전에 훈련된 단어 임베딩에서 유래한 의미 지식을 활용하여 검색 공간을 줄임으로써 학습 효율성을 향상시키기 위해.
• 기능 기반 동작 선택이 텍스트 기반 어드벤처 게임에서 더 빠른 수렴과 더 인간다운 행동을 이끌어내는지 평가하기 위해.
• 의미 유사도를 활용한 자유형, 동적 동작 선택의 가능성을 탐색하기 위해.

제안 방법

• 대규모 위키백과 코퍼스에서 word2vec 임베딩을 훈련시켜 단어의 조밀한 의미 표현과 맥락적 관계를 생성하기 위해.
• 벡터 산술(예: 유사성 추론)을 사용하여 주어진 객체에 대해 가능한 동작를 질의하기 위해 단어 벡터 공간을 쿼리하기 위해.
• 객체와 동사 벡터 간의 코사인 유사도를 사용하여 주어진 상태에서 의미적으로 타당한 동작(기능)을 식별하기 위해.
• 기능 탐지 모듈을 Q-학습 에이전트에 통합하여 의미적으로 타당한 동사에 국한된 동작 선택을 제한하기 위해.
• 현재 객체의 상위 의미적 이웃을 사용하여 각 상태별로 동작 집합을 동적으로 확장하는 동적 동작 선택 메커니즘을 적용하기 위해.
• 텍스트 기반 게임 환경에서 기능 기반 동작 선택을 무작위 선택, 개념 기반, 공시출현 기반 감소 기법과 비교하기 위해.

실험 결과

연구 질문

• RQ1 위키백과에서 훈련된 단어 임베딩가 비가능한 동작을 피할 수 있도록 도와주는 암묵적 기능 지식을 인코딩할 수 있는가?
• RQ2 기능 기반 동작 제거가 텍스트 기반 강화학습 환경에서 학습 효율성을 향상시키는가?
• RQ3 무작위 선택, ConceptNet 필터링, 또는 공시출현 임계치와 같은 대안적 감소 방법과 비교할 때 기능 기반 동작 선택은 어떻게 다른가?
• RQ4 의미 유사도를 활용한 자유형 동작 생성이 고정된 동사 목록보다 더 창의적이고 효과적인 행동을 만들어낼 수 있는가?
• RQ5 기능 기반 선택이 텍스트 기반 게임에서 인간다운 동작 선택으로 이어지는 정도는 어느 정도인가?

주요 결과

• 기능 기반 동작 선택은 학습 단계 수를 크게 줄였으며, 테스트된 게임에서 샘플 효율성을 최대 60% 향상시켰다.
• 이 방법은 종종 필수 동작를 제거하고 성능을 악화시키는 무작위 감소, ConceptNet 기반 필터링, 공시출현 임계치와 비교해 뛰어난 성능을 보였다.
• 기능 탐지 기반의 에이전트는 인간의 선택과 유사한 동작를 빠르게 선택하기 시작하여 의미적 추론 능력 향상을 시사했다.
• 자신의 의미적 이웃을 사용하여 동작 집합을 동적으로 확장하는 자유형 동작 생성 메커니즘은 원래의 동사 목록에 없던 창의적이고 맥락에 적합한 동작을 생성했다.
• 내재 보상 기반 탐색은 기능 기반 제거를 능가하지 못했으며, 이는 의미적 제약 조건이 보상 기반 탐색보다 더 효과적임을 시사했다.
• 이 방법은 다양한 텍스트 기반 게임에서 뚜렷한 성능 향상을 보이며, 큰 동작 공간을 가진 복잡한 환경에서도 일관된 성능 향상을 보였다.