[논문 리뷰] Interactive Spoken Content Retrieval by Deep Reinforcement Learning

Yen-Chen Wu, Tzu-Hsiang Lin외 3명|arXiv (Cornell University)|2016. 09. 16.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 수동으로 설계된 상태 추정을 회피하고 원시 검색 점수를 직접 최적의 시스템 동작으로 매핑함으로써 상호작용적 음성 콘텐츠 검색을 향상시키기 위해 딥Q네트워크(DQN)를 사용하는 엔드 투 엔드 딥 강화학습 접근법을 제안한다. 이 방법은 수동으로 설계된 특징에 의존한 이전 최고 성능 방법들보다 뚜렷한 성능 향상을 이룩하였으며, 인간이 설계한 지표 없이도 원시 관련성 점수만을 사용함에도 불구하고 이를 뛰어넘는 성능을 보였다.

ABSTRACT

User-machine interaction is important for spoken content retrieval. For text content retrieval, the user can easily scan through and select on a list of retrieved item. This is impossible for spoken content retrieval, because the retrieved items are difficult to show on screen. Besides, due to the high degree of uncertainty for speech recognition, the retrieval results can be very noisy. One way to counter such difficulties is through user-machine interaction. The machine can take different actions to interact with the user to obtain better retrieval results before showing to the user. The suitable actions depend on the retrieval status, for example requesting for extra information from the user, returning a list of topics for user to select, etc. In our previous work, some hand-crafted states estimated from the present retrieval results are used to determine the proper actions. In this paper, we propose to use Deep-Q-Learning techniques instead to determine the machine actions for interactive spoken content retrieval. Deep-Q-Learning bypasses the need for estimation of the hand-crafted states, and directly determine the best action base on the present retrieval status even without any human knowledge. It is shown to achieve significantly better performance compared with the previous hand-crafted states.

연구 동기 및 목표

• 기존 텍스트 기반 검색 인터페이스가 효과가 없어지는 노이즈가 많고 불확실한 음성 인식 환경에서의 음성 콘텐츠 검색 과제를 해결하기 위해.
• 이전 상호작용 검색 시스템이 검색 특징에서 추정한 수동으로 설계된 상태에 의존하는 데서 비롯되는 한계를 극복하기 위해, 이는 최적화되지 않을 수 있고 공동 최적화가 어려울 수 있다.
• 딥 강화학습이 원시 검색 점수에서 직접 최적의 상호작용 정책을 엔드 투 엔드로 학습할 수 있는지 조사하기 위해.
• 원시 특징과 인간이 설계한 지표를 모두 사용하여 이전 방법들과 비교하여 DQN 기반 동작 선택의 성능을 평가하기 위해.

제안 방법

• 시스템은 원시 검색 점수(언어 모델 기반 검색 모듈에서 유도됨)를 직접 시스템 동작으로 매핑하기 위해 딥Q네트워크(DQN)를 사용하며, 명시적 상태 추정을 생략한다.
• DQN은 주어진 쿼리에 대해 상위-k 검색 문서의 관련성 점수를 입력으로 받아 원시 특징에서부터 엔드 투 엔드로 동작 정책을 학습한다.
• 행동 공간에는 사용자 입력 추가 요청, 주제 목록 반환, 쿼리 재조정 등의 선택지가 포함되며, 현재 검색 상태에 따라 선택된다.
• DQN은 누적 보상(상호작용 시퀀스의 수익)을 최대화하는 강화학습 목표를 사용하여 훈련되며, 이는 검색 효과성(예: MAP 및 각 턴에서의 수익)에 기반한 희박한 보상으로 정의된다.
• 인식 품질이 다양할 경우의 내성성을 평가하기 위해 일차적 최선 번역과 레이티스 기반 ASR 출력을 모두 사용하여 프레임워크를 평가한다.
• 수동으로 설계된 상태(예: 평균 정밀도)를 사용하는 베이스라인과 무작위 동작 베이스라인, 브루트포스 동작 시퀀스 탐색을 통한 오라클 상한선을 비교한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 수동으로 설계된 상태 표현에 의존하지 않고 원시 검색 점수에서 직접 효과적인 상호작용 정책을 학습할 수 있는가?
• RQ2 원시 특징과 수동으로 설계된 특징을 사용하는 이전 방법들과 비교하여 엔드 투 엔드 DQN 기반 접근법의 성능는 어떻게 되는가?
• RQ3 인간이 설계한 특징 없이도 원시 관련성 점수만으로 효과적인 동작 선택이 가능한가?
• RQ4 모델 깊이와 입력 특징 구성(원시 점수 대비 원시 점수 + 인간 특징)이 DQN 프레임워크 내에서 학습 안정성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 수동으로 설계된 특징 없이 원시 관련성 점수만을 사용하는 제안된 DQN 접근법이 이전 최고 성능 방법을 뛰어넘었으며, 일차적 최선 번역에서 MAP 0.5619, 레이티스에서 0.5847을 기록했다.
• 원시 관련성 점수와 인간이 설계한 특징을 조합한 DQN은 가장 뛰어난 성능을 보였으며, 일차적 최선에서 MAP 0.5691, 레이티스에서 0.5907을 기록했고, 레이티스에서 오라클 상한선(110.90 대 105.03)을 초월하는 수익을 기록했다.
• 원시 점수만을 사용하는 DQN은 안정된 정책으로 수렴하였으며, 복잡한 상태-행동 매핑이 명시적 특징 공학 없이도 딥 네트워크에 의해 암묵적으로 학습될 수 있음을 보여주었다.
• 더 깊은 DQN 아키텍처(4개의 은닉층)는 얕은 구조(2층)와 선형 모델보다 성능이 뛰어났으며, 특히 원시 점수만을 사용할 경우 두드러졌다. 다만 수렴 속도는 느렸다.
• 선형 모델은 원시 점수만을 사용할 경우 수렴하지 못했으며, 이는 원시 점수에서 최적의 동작으로의 매핑이 비선형이며, 은닉 표현이 필요함을 시사한다.
• 입력으로 하나의 관련성 점수만을 사용할 경우 DQN은 기본 정책을 학습할 수 있었지만, 점수 수가 증가함에 따라 성능이 크게 향상되었으며(예: 10, 50, 100개), 입력 크기 증가에 따라 확장 가능함을 보였다.