[논문 리뷰] Learning to Search Better Than Your Teacher

Kai-Wei Chang, Akshay Krishnamurthy외 3명|arXiv (Cornell University)|2015. 02. 08.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 91

한 줄 요약

이 논문은 LOLS(Locally Optimal Learning to Search)를 소개한다. LOLS는 기존의 임의의 열악한 기준 정책에 비해 낮은 손실을 보장할 뿐 아니라, 학습된 정책의 1단계 이격된 정책에 비한 손실까지 보장하는 새로운 학습-검색 알고리즘이다. 기존 방법들이 기준 정책의 성능에만 맞추는 데 반해, LOLS는 국소 최적성 보장을 통해 구조적 예측 및 구조적 컨텍스트 밴딧 설정에서 열악한 기초 정책보다도 상당한 성능 향상을 이룬다.

ABSTRACT

Methods for learning to search for structured prediction typically imitate a reference policy, with existing theoretical guarantees demonstrating low regret compared to that reference. This is unsatisfactory in many applications where the reference policy is suboptimal and the goal of learning is to improve upon it. Can learning to search work even when the reference is poor? We provide a new learning to search algorithm, LOLS, which does well relative to the reference policy, but additionally guarantees low regret compared to deviations from the learned policy: a local-optimality guarantee. Consequently, LOLS can improve upon the reference policy, unlike previous algorithms. This enables us to develop structured contextual bandits, a partial information structured prediction setting with many potential applications.

연구 동기 및 목표

• 기존의 학습-검색 방법들이 기준 정책에 비해 성능을 보장할 뿐 아니라, 이 기준 정책이 열악할 수 있음을 고려한 한계를 해결한다.
• 기준 정책이 열악하더라도 국소 최적성을 보장하는 학습-검색 알고리즘을 개발한다.
• 완전한 지도 학습이 불가능하고 기존의 (가능성은 있으나) 열악한 룰 기반 시스템을 향상시키는 것을 목표로 하는 구조적 컨텍스트 밴딧 설정에서 효과적인 학습을 가능하게 한다.
• 기준 정책에 대한 손실과 1단계 정책 이격에 대한 손실을 균형 잡은 이론적 보장을 제공한다.
• 국소 기울어오름(국소 최적화)가 효과적인 설정에서 LOLS가 이전 알고리즘들보다 뛰어나다는 것을 입증한다.

제안 방법

• 기준 정책에 대한 손실과 자기 정책의 1단계 이격에 대한 손실을 조합한 볼록 조합을 유지하는 온라인 학습-검색 알고리즘인 LOLS를 제안한다.
• Searn, DAgger, AggreVaTe와 같은 이전 방법들을 일반화하는 일반적인 알고리즘 체계를 사용하여, 기존의 검색 기반 구조적 예측 프레임워크와의 호환성을 확보한다.
• 작은 배치 단위에서 비용 감안 분류를 적용하여 정책을 갱신함으로써 국소 최적 정책 수렴을 보장한다.
• 기준 정책에 대한 성능와 국소 정책 개선에 대한 성능를 분리하는 손실 분해 기법을 도입한다.
• 초입방체 그래프의 조합적 분석을 통해 국소 최적에 도달하기 위해 필요한 정책 갱신 횟수의 상한을 도출하며, 이는 뱀-인-더-박스 문제를 활용한다.
• 부분 피드백을 처리할 수 있도록 학습 규칙을 수정함으로써 LOLS를 구조적 컨텍스트 밴딧에 확장하고, 동일한 손실 보장을 유지한다.

실험 결과

연구 질문

• RQ1 학습-검색 방법은 열악한 기준 정책을 뛰어나지 않고, 단지 그 성능에만 맞추는가?
• RQ2 기준 정책이 최적일 수 없을 경우, 특히 국소 최적성 측면에서 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 기준 정책이 열악하지만 국소 기울어오름이 가능한 경우, LOLS의 성능는 이전의 학습-검색 알고리즘들과 어떻게 비교되는가?
• RQ4 LOLS는 피드백이 부분적인 구조적 컨텍스트 밴딧 설정에 효과적으로 적용될 수 있는가? 이 경우 기존의 시스템을 향상시키는 데 기여하는가?
• RQ5 LOLS가 국소 최적 정책에 도달하기 위해 필요한 최악의 경우 정책 갱신 횟수는 얼마이며, 이는 검색 공간의 크기와 어떻게 스케일링되는가?

주요 결과

• LOLS는 기준 정책에 대한 손실과 1단계 정책 이격에 대한 손실을 조합한 손실 상한을 확보함으로써, 기준 정책이 열악하더라도 국소 최적성을 보장한다.
• 이론적 분석 결과, 기준 정책이 열악하지만 국소 기울어오름이 효과적인 경우 LOLS가 이전 알고리즘들을 능가함을 입증한다.
• 구조적 컨텍스트 밴딧 설정에서는 LOLS가 자연스럽게 확장 가능하며, 이에 따른 손실 보장을 제공함으로써 부분 피드백에서의 학습을 가능하게 한다.
• 실증 결과는 LOLS가 실제 데이터셋에서 기준 정책를 상당히 능가함을 확인하며 실용적 우수성을 입증한다.
• LOLS가 국소 최적 정책에 도달하기 위해 필요한 최악의 경우 정책 갱신 횟수는 초입방체에서의 최장 경로 길이로 제한되며, 이는 Θ(2^T)이다. 이는 고차원 정책 공간에서의 확장성 한계를 보여준다.
• 비용 함수의 구조상, 소형 배치를 처리하는 동안에도 LOLS는 항상 1단계 이격을 따라가야 하므로, 국소 최적점에서 벗어나지 않고 수렴함을 보장한다.