[논문 리뷰] Generating Text with Deep Reinforcement Learning

Hongyu Guo|arXiv (Cornell University)|2015. 10. 30.

Topic Modeling참고 문헌 30인용 수 41

한 줄 요약

이 논문은 딥 Q-네트워크(DQN)를 사용하여 디코딩된 출력을 반복적으로 개선하는 새로운 딥 강화학습 접근법을 제안한다. 인코더-디코더 LSTM을 활용해 상태 표현과 행동 후보를 생성하고, 이전에 어려웠던 시퀀스 부분 쪽으로 탐색을 편향시킴으로써, 미리 보지 않은 문장에서 기존의 그레디 비트 시프트(LSTM)보다 유의미하게 뛰어난 성능을 달성하며, 분포 외 테스트 데이터에서 BLEU 점수 기준 111%의 상대적 향상을 이룬다.

ABSTRACT

We introduce a novel schema for sequence to sequence learning with a Deep Q-Network (DQN), which decodes the output sequence iteratively. The aim here is to enable the decoder to first tackle easier portions of the sequences, and then turn to cope with difficult parts. Specifically, in each iteration, an encoder-decoder Long Short-Term Memory (LSTM) network is employed to, from the input sequence, automatically create features to represent the internal states of and formulate a list of potential actions for the DQN. Take rephrasing a natural sentence as an example. This list can contain ranked potential words. Next, the DQN learns to make decision on which action (e.g., word) will be selected from the list to modify the current decoded sequence. The newly modified output sequence is subsequently used as the input to the DQN for the next decoding iteration. In each iteration, we also bias the reinforcement learning's attention to explore sequence portions which are previously difficult to be decoded. For evaluation, the proposed strategy was trained to decode ten thousands natural sentences. Our experiments indicate that, when compared to a left-to-right greedy beam search LSTM decoder, the proposed method performed competitively well when decoding sentences from the training set, but significantly outperformed the baseline when decoding unseen sentences, in terms of BLEU score obtained.

연구 동기 및 목표

• 텍스트 재구성 및 기계 번역과 같은 자연어 처리 작업에서 길이가 변하는 시퀀스 생성 문제를 해결하기 위해.
• 좌우로 왼쪽에서 오른쪽으로 그레디 디코딩을 대체하여 강화학습 기반 반복적 개선 전략을 도입함으로써, 새로운 시퀀스에서의 일반화 능력을 향상시키기 위해.
• 이전에 디코딩하기 어려웠던 부분에 집중할 수 있도록 탐색을 편향시킴으로써 에이전트가 어려운 부분에 주목하도록 유도하기 위해.
• LSTM을 활용해 상태와 행동 표현을 도출함으로써, DQN을 엔드 투 엔드 텍스트 생성에 적용할 수 있는지의 타당성을 탐색하기 위해.
• 실제 운영 환경에서 일반화 능력이 핵심이 되는 미리 보지 않은 데이터에서의 성능 평가를 수행하기 위해.

제안 방법

• 인코더-디코더 LSTM 네트워크가 입력 시퀀스를 처리하여 각 디코딩 단계에서 고정된 차원의 컨텍스트 벡터와 DQN의 행동 후보로 사용할 잠재 단어 후보의 순위 목록을 생성한다.
• DQN은 후보 목록에서 행동(단어)를 선택하여 현재 디코딩된 시퀀스를 반복적으로 수정하고, 업데이트된 시퀀스를 다음 반복을 위해 DQN에 다시 입력한다.
• 경험 재생과 타겟 네트워크를 사용하여 Q-러닝을 통해 누적 보상을 최대화하도록 DQN이 학습한다.
• 이전에 디코딩하기 어려웠던 부분을 우선순위로 삼기 위해 탐색 전략에 어텐션 메커니즘을 통합한다.
• 학습 및 테스트 중에 $ε$-그레디 정책을 사용하여 탐색과 이용의 균형을 이룬다.
• 최종 출력은 마지막 반복에서의 디코딩된 시퀀스이며, 성능 평가는 부드러운 BLEU 점수를 사용한다.

실험 결과

연구 질문

• RQ1 딥 Q-네트워크(DQN)는 표준 좌우로 왼쪽에서 오른쪽으로 디코딩하는 방식보다 효과적으로 반복적으로 텍스트 시퀀스를 개선할 수 있는가?
• RQ2 특히 이전에 어려웠던 시퀀스 부분을 편향시킨 DQN의 탐색 전략이, 새로운 데이터에서의 일반화에 어떤 영향을 미치는가?
• RQ3 직접 상태-행동 공간 모델링을 사용하는 것과 비교해, LSTM이 생성한 상태 및 행동 표현을 사용할 경우 DQN 기반 텍스트 생성의 성능 향상 정도는 어느 정도인가?
• RQ4 DQN 기반 디코딩 전략은 분포 외 테스트 문장에서 기존의 그레디 비트 시프트보다 더 잘 일반화되는가?
• RQ5 추론(테스트) 중 탐색이 생성된 시퀀스의 최종 BLEU 점수에 어떤 영향을 미치는가?

주요 결과

• 학습 데이터셋의 본 적 있는 문장들에 대해 DQN 디코더는 부드러운 BLEU 점수 0.494를 기록했으며, 베이스라인 LSTM 비트 시프트(0.425)를 略적으로 뛰어넘었다.
• 본 적 없는 문장들에 대해 DQN 디코더는 베이스라인보다 유의미하게 뛰어난 성능을 보였으며, BLEU 점수 0.228을 기록한 반면, 베이스라인은 0.107이었고, 이는 111%의 상대적 향상에 해당한다.
• 학습 중 탐색 전략을 통해 DQN은 더 넓은 분포의 노이즈가 섞인 합성 시퀀스를 탐색하면서 학습함으로써, 본 적 없는 데이터에 대해 더 잘 일반화되는 것을 확인했다.
• 테스트 중에 $ε$-그레디 정책을 사용해 탐색을 활성화하면 성능이 악화되었으며, 이는 테스트 시에는 탐색을 비활성화해야 한다는 것을 시사한다.
• DQN 학습은 약 6 에포크 만에 수렴했으며, 이는 상태 및 행동 표현 함수가 효과적이고 학습 가능한 것을 보여준다.
• 모델은 단 한 번의 반복만으로 '뉴욕 타임스보다 더 읽기 위해 클릭하십시오'라는 잘못 분석된 문장을 '뉴욕 타임스에서 더 읽기 위해 클릭하십시오'로 정확히 수정하는 데 성공했으며, 이는 출력을 개선하는 능력을 입증한다.