[논문 리뷰] Learning from Human Feedback: Challenges for Real-World Reinforcement Learning in NLP.

Julia Kreutzer, Stefan Riezler외 1명|arXiv (Cornell University)|2020. 11. 04.

Reinforcement Learning in Robotics참고 문헌 38인용 수 5

한 줄 요약

이 논문은 오프라인 강화학습에 실세계 NLP 상호작용 로그를 활용할 때 발생하는 핵심 과제들, 즉 보상 희소성, 분포 이탈, 보상 함수의 부정렬성 등을 규명한다. 보상 모델링 기법을 통한 암시적 피드백 활용 및 분포 보정 기법과 같은 해결책을 제안하며, 시뮬레이션 및 실세계 NLP 벤치마크에서 향상된 정책 성능을 입증한다.

ABSTRACT

Large volumes of interaction logs can be collected from NLP systems that are deployed in the real world. How can this wealth of information be leveraged? Using such interaction logs in an offline reinforcement learning (RL) setting is a promising approach. However, due to the nature of NLP tasks and the constraints of production systems, a series of challenges arise. We present a concise overview of these challenges and discuss possible solutions.

연구 동기 및 목표

• 실세계 NLP 시스템의 상호작용 로그를 활용해 오프라인 강화학습을 적용하는 데 발생하는 격차를 해소하기 위해.
• 생산 환경의 NLP 시스템에서 유도된 인간 피드백을 강화학습에 활용할 때 발생하는 핵심 과제를 규명하고 분석하기 위해.
• NLP RL에서 희소적이고 노이즈가 많으며 분포가 이탈된 피드백을 다루기 위한 실용적인 방법을 제안하기 위해.
• 이러한 방법들이 실제적인 NLP RL 환경에서 효과적으로 작용하는지 평가하기 위해.

제안 방법

• 배포된 NLP 시스템의 상호작용 로그를 정책 학습을 위한 오프라인 데이터셋으로 활용한다.
• 로그에 포함된 암시적 인간 피드백으로부터 보상 신호를 추론하기 위해 보상 모델링 기법을 적용한다.
• 기록된 데이터와 목표 정책의 분포 간의 분포 이탈을 완화하기 위해 분포 보정 기법을 구현한다.
• 행동 복제 및 오프라인 RL 알고리즘(예: BCQ, CQL)을 사용하여 수집된 데이터 기반으로 정책을 학습한다.
• 합성 및 실세계 NLP 벤치마크(대화 및 요약 작업 포함)를 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 NLP 상호작용 로그 내 암시적 인간 피드백을 강화학습을 위한 유용한 보상 신호로 효과적으로 변환할 수 있는가?
• RQ2 실세계 NLP 시스템에 오프라인 RL을 적용할 때 발생하는 주요 분포 이탈 및 보상 관련 과제는 무엇인가?
• RQ3 분포 보정 및 보상 모델링 기법이 오프라인 NLP RL에서 정책 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 다양한 오프라인 RL 알고리즘이 실세계 NLP 로그에 대해 최적화되었을 때 성능은 어떻게 나타나는가?

주요 결과

• 경험적 보상 설계 방식에 비해 암시적 피드백에서 유도된 보상 모델링이 정책 성능 향상에 뚜렷한 기여를 한다.
• 기록된 데이터와 목표 정책 간의 분포 이탈은 여전히 주요 과제이지만, 보정 기법을 통해 성능 저하가 감소한다.
• CQL 및 BCQ와 같은 오프라인 RL 알고리즘은 적절한 보상 모델링과 결합될 경우 안정적인 학습을 달성한다.
• 제안된 프레임워크를 통해 실세계 상호작용 로그만으로도 온라인 상호작용 없이도 효과적인 정책 향상이 가능하다.