[논문 리뷰] Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation

Rodrigo Nogueira, Jannis Bulian외 1명|arXiv (Cornell University)|2018. 09. 27.

Data Stream Mining Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 여러 전문화된 하위 에이전트가 서로 겹치지 않는 데이터 파artitions에서 훈련되어 문서 검색 및 질의 응답을 위한 다양한 질의 재구성 전략을 생성하는 계층적 강화학습 프레임워크를 제안한다. 메타에이전트(집계기)는 예측된 보상 기반으로 가중 투표 방식을 통해 하위 에이전트의 출력을 통합하며, 전략 다양성의 증가로 인해 더 빠른 훈련, 더 나은 일반화 능력, 그리고 앙상블 기반 베이스라인 대비 향상된 성능을 달성한다.

ABSTRACT

We propose a method to efficiently learn diverse strategies in reinforcement learning for query reformulation in the tasks of document retrieval and question answering. In the proposed framework an agent consists of multiple specialized sub-agents and a meta-agent that learns to aggregate the answers from sub-agents to produce a final answer. Sub-agents are trained on disjoint partitions of the training data, while the meta-agent is trained on the full training set. Our method makes learning faster, because it is highly parallelizable, and has better generalization performance than strong baselines, such as an ensemble of agents trained on the full data. We show that the improved performance is due to the increased diversity of reformulation strategies.

연구 동기 및 목표

• 질의 재구성에 대한 강화학습에서 정책 다양성과 일반화 능력을 향상시키기 위해.
• 하위 에이전트를 서로 겹치지 않는 데이터 파artitions에 할당하여 더 빠르고 더 병렬화 가능한 훈련을 가능하게 하기 위해.
• 전체 데이터셋에 대해 훈련된 표준 앙상블 방법보다 성능을 뛰어넘기 위해.
• 데이터 파artitions의 의미적 유사성이 성능에 미치는 영향(향상 또는 저해)을 조사하기 위해.
• 다양한 재구성 전략이 모델 성능 향상과 관련이 있음을 검증하기 위해.

제안 방법

• 프레임워크는 서로 겹치지 않는 훈련 데이터 파artitions에서 각각 훈련된 여러 하위 에이전트를 사용하여 정책 전문화를 장려한다.
• 메타에이전트(집계기)는 예측된 보상 기반으로 가중 다수결 투표 방식을 사용해 하위 에이전트의 출력을 통합한다.
• 하위 에이전트는 기울기나 가중치 공유 없이 독립적으로 작동하므로 고도의 병렬 처리와 낮은 통신 오버헤드를 가능하게 한다.
• 하위 에이전트와 집계기 사이에는 스칼라 보상과 짧은 문자열(질의, 재구성된 질의, 답변)만 교환된다.
• 집계기는 전체 훈련 세트에서 훈련되어 모든 입력 유형에 일반화할 수 있다.
• 기존의 전문가의 혼합 방식과 달리 대규모 파rameter 교환을 피함으로써 통신 병목 현상을 줄였다.

실험 결과

연구 질문

• RQ1 서로 겹치지 않는 데이터 파artitions에서 여러 하위 에이전트를 훈련시키면 더 다양하고 효과적인 질의 재구성 전략이 도출되는가?
• RQ2 이 계층적 접근 방식은 전체 데이터셋에 대해 훈련된 단일 에이전트나 앙상블 대비 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 랜덤 분할 대비 의미적으로 유사한 분할 방식을 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ4 성능 향상의 주요 원인이 증가한 전략 다양성에 기인하는가?
• RQ5 이 방법의 통신 효율성이 실세계 NLP 시스템에서의 확장 가능한 구현을 지원하는 데 충분한가?

주요 결과

• 제안된 방법은 전체 데이터셋에 대해 훈련된 강력한 앙상블 기반 베이스라인 대비 문서 검색 및 질의 응답 작업 모두에서 성능이 뛰어나다.
• 성능 향상은 하위 에이전트가 생성한 질의 재구성 전략의 다양성 증가와 강하게 상관된다.
• 기존의 분산 강화학습 알고리즘(A3C 또는 비동기적 SGD) 대비 더 빠르고 더 쉽게 병렬화 가능한 훈련을 가능하게 한다.
• 놀랍게도 의미적으로 유사한 데이터 분할 방식은 랜덤 분할에 비해 성능이 열 劣하므로, 의미적 유사성이 정책 다양성을 감소시킬 수 있음을 시사한다.
• 통신 오버헤드는 매우 낮으며, 보상과 짧은 문자열만 교환되기 때문에 전체 출력 벡터를 교환하는 방법에 비해 확장성과 효율성이 뛰어나다.
• 메타에이전트가 다양한 하위 에이전트의 출력에 대해 가중 투표를 학습함으로써 더 견고하고 정확한 최종 예측을 가능하게 한다.