[논문 리뷰] Reinforcement Learning with External Knowledge and Two-Stage Q-functions for Predicting Popular Reddit Threads

Ji He, Mari Ostendorf외 1명|arXiv (Cornell University)|2017. 04. 20.

Topic Modeling참고 문헌 25인용 수 8

한 줄 요약

이 논문은 외부 지식 통합을 통한 이중 단계 Q-학습 프레임워크를 제안하여 자연어 행동의 조합적 공간에서 인기 있는 Reddit 댓글을 예측하는 강화학습 성능을 향상시킨다. 동적으로 검색된 외부 지식으로 상태 표현을 보강하고, 조합적 자연어 행동을 효율적으로 탐색하기 위해 이중 단계 Q-함수를 사용함으로써, 다섯 개인 서브레딧에서 기준 모델 대비 뚜렷한 성능 향상을 달성하였으며, 전체 행동 공간 탐색 대비 최대 11배 빠른 추론 속도를 기록하였다.

ABSTRACT

This paper addresses the problem of predicting popularity of comments in an online discussion forum using reinforcement learning, particularly addressing two challenges that arise from having natural language state and action spaces. First, the state representation, which characterizes the history of comments tracked in a discussion at a particular point, is augmented to incorporate the global context represented by discussions on world events available in an external knowledge source. Second, a two-stage Q-learning framework is introduced, making it feasible to search the combinatorial action space while also accounting for redundancy among sub-actions. We experiment with five Reddit communities, showing that the two methods improve over previous reported results on this task.

연구 동기 및 목표

• 실시간으로 인기 있는 Reddit 댓글을 예측하는 데 도전하는 문제를 해결하기 위해, 행동이 자연어 댓글의 집합이고 행동 공간이 조합적임을 고려한다.
• 비정형 외부 지식(예: 뉴스나 세계 이벤트에 관한 토론 스레드)을 상태 표현에 통합함으로써 강화학습의 의사결정 능력을 향상시킨다.
• 계산 복잡도로 인해 기하급수적 탐색이 불가능한 상황에서 전체 조합적 행동 공간을 완전한 열거 없이 효율적으로 탐색할 수 있도록 한다.
• 외부 지식과 이중 단계 Q-학습 아키텍처를 결합하여 이전 방법보다 예측 성능을 향상시키며, 탐색 시간을 단축하면서도 정확도를 유지한다.

제안 방법

• 현재 댓글 기록을 쿼리로 사용하여 외부 지식 소스(예: 뉴스 피드 또는 세계 이벤트 토론 스레드)에서 질의를 수행함으로써 상태 표현을 보강한다.
• 학습 가능한 어텐션 메커니즘을 사용하여 관련 외부 문서를 검색하고 상태 임베딩에 통합함으로써, 국소적 토론 기록을 초월한 맥락을 풍부하게 한다.
• 이중 단계 Q-학습 프레임워크를 구현한다: 첫 번째로 경량 Q-네트워크가 부분 행동(댓글 집합)의 후보 목록을 생성하고, 두 번째로 더 복잡한 Q-네트워크가 후보들을 재순서 정렬하여 최종 선택을 한다.
• DRRN-BiLSTM 아키텍처를 Q-함수에 적용하여 댓글 기록과 외부 지식의 순차적 의존성을 모델링함으로써 효과적인 표현 학습을 가능하게 한다.
• 전체 행동 공간에서 샘플링된 고정된 수의 후보(N=10)를 사용하지만, 무작위 샘플링 대신 이중 단계 프로세스를 통해 선택을 향상시킨다.
• 경험 재생과 타겟 네트워크를 사용하여 딥 Q-학습을 통해 Q-함수를 엔드 투 엔드로 훈련시키며, 시간에 따라 누적 카르마 보상 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 비정형 소스에서 온 외부 지식이 조합적 행동 공간을 가진 자연어 의사결정 과제에서 강화학습의 성능을 향상시킬 수 있는가?
• RQ2 완전한 열거 없이도 이중 단계 Q-학습 프레임워크가 자연어 행동 설정에서 전체 조합적 행동 공간을 효과적으로 탐색할 수 있는가?
• RQ3 외부 지식 통합과 이중 단계 Q-학습 프레임워크가 다양한 Reddit 커뮤니티에서 예측 성능에 공동으로 미치는 영향은 어떠한가?
• RQ4 이중 단계 Q-학습 프레임워크는 전체 행동 공간 탐색 대비 얼마나 빠른 추론 시간을 제공하는가?

주요 결과

• 이중 단계 Q-학습 프레임워크는 K=3일 때 테스트 런타임을 전체 행동 공간 탐색 대비 6배 빠르게 하고, K=5일 때는 11배 빠르게 하여 추론 효율성이 크게 향상되었다.
• 모든 다섯 개인 서브레딧에서 외부 지식 통합이 이중 단계 Q-학습 베이스라인 대비 성능 향상을 일관되게 달성하였으며, 주제 다양성이 높은 서브레딧에서 가장 큰 성과를 보였다.
• 그림 4의 추상화 연구 결과는 외부 지식과 이중 단계 학습 모두가 성능 향상에 독립적으로 기여하며, 특히 이중 단계 프레임워크가 더 큰 기여를 했다는 것을 보여준다.
• 표 4의 사례 연구는 에이전트가 관련 외부 문서(예: 화성 식민지화 뉴스)에 주의를 기울이는 반면, 관련이 없는 문서는 회피하는 것을 확인한다.
• 이전에 보고된 Reddit 인기 예측 결과를 모두 초월하여, 다양한 언어 스타일과 카르마 분포를 가진 다섯 개의 별도 서브레ddit에서 최신 기술 수준의 성능을 입증하였다.
• 행동 공간의 부분집합에서 훈련된 DRRN-BiLSTM 모델은 강력한 성능를 달성했지만, 훈련 및 테스트 간 분포 이탈로 인해 이중 단계 Q-함수에 비해 성능이 열등했다.