[논문 리뷰] Learning Beam Search Policies via Imitation Learning

Renato Negrinho, Matthew R. Gormley외 1명|arXiv (Cornell University)|2018. 11. 01.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 비용 최소화 기반의 추론(beam search)과 학습 간의 불일치 문제를 해결하기 위해, 비어드를 모델의 핵심 구성 요소로 간주하고, 엔드 투 엔드로 비어드 검색 정책을 훈련하는 새로운 이mitation learning 프레임워크를 제안한다. 미분 가능한 대체 손실 함수와 오라클 피드백을 활용한 DAgger 스타일의 데이터 수집 방식을 통해, 비어드 인식 훈련에 대해 처음으로 no-regret 보장을 달성하며, 일반화 능력과 학습 및 추론 간의 일치도 향상시킨다.

ABSTRACT

Beam search is widely used for approximate decoding in structured prediction problems. Models often use a beam at test time but ignore its existence at train time, and therefore do not explicitly learn how to use the beam. We develop an unifying meta-algorithm for learning beam search policies using imitation learning. In our setting, the beam is part of the model, and not just an artifact of approximate decoding. Our meta-algorithm captures existing learning algorithms and suggests new ones. It also lets us show novel no-regret guarantees for learning beam search policies.

연구 동기 및 목표

• 구조적 예측 작업에서 학습(우도 최대화)과 추론(비어드 검색) 간의 불일치 문제를 해결한다.
• 기존의 비어드 인식 알고리즘들이 훈련 중에 자신의 실수를 노출하지 못하는 한계를 극복한다.
• 이론적 보장을 갖춘 이mitation learning을 활용해 비어드 검색 정책을 학습하는 통합 메타알고리즘을 개발한다.
• 비어드 검색 정책 학습에 대해 이전 연구가 퍼셉트론 스타일의 보장만 제공한 데 비해, 처음으로 no-regret 재해로 보장을 제공한다.
• 최적의 가설이 비어드에서 벗어난 이후에도 오라클 피드백을 활용해 효과적인 훈련을 가능하게 하기 위해 계속 전략을 도입한다.

제안 방법

• 비어드 검색 공간을 탐색하는 정책이 포함된 '검색하는 법을 배우기' 프레임워크 내에서 비어드 검색 정책 학습 문제를 구조적 예측 문제로 재정의한다.
• 비어드 이웃들을 순위 매기는 스코링 함수를 정의하고, 상위-k를 선택해 다음 비어드를 구성하며, 이 함수를 이mitation learning을 통해 학습한다.
• 스코링 함수를 최적화하기 위해, 가중치가 부여된 전쌍 손실의 변형과 기존의 비어드 인식 손실을 포함한 다양한 미분 가능한 대체 손실 함수를 설계한다.
• DAgger 유사한 데이터 수집 전략을 사용: 현재 정책으로 롤인하고, 비어드 이웃들의 비용을 오라클에 문의하여, 최적 경로가 비어드에서 벗어난 이후에도 지도 데이터를 수집한다.
• 정책의 혼합을 도입하고, 누적 손실 기반으로 온라인 no-regret 학습 알고리즘(예: Adam)을 사용해 파라미터를 업데이트한다.
• 롤인 중 정책의 분포 변화를 고려하기 위해, 정책이 멈추거나 재설정될 확률을 추정하여, 비이상적인 데이터 수집 정책 하에서도 재해로 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 비어드 인식 학습 알고리즘들을 하나의 메타알고리즘으로 통합할 수 있는가? 이는 각 알고리즘의 설계 선택을 포괄할 수 있는가?
• RQ2 비어드 검색 정책 학습에 대해 퍼셉트론 스타일 결과를 초월해, no-regret 이론적 보장을 제공할 수 있는가?
• RQ3 롤인 도중 최적의 가설이 비어드에서 벗어나게 되면, 효과적인 훈련 데이터 수집 전략은 무엇인가?
• RQ4 어떤 대체 손실 함수가 더 우수한 일반화 능력과 학습 시 비어드 검색 추론 간의 일치도를 달성하는가?
• RQ5 데이터 수집 중 정지 또는 재설정 전략을 사용할 경우, 이론적 성능 보장은 유지될 수 있는가?

주요 결과

• 제안된 프레임워크는 비어드 검색 정책 학습에 대해 처음으로 no-regret 보장을 달성하며, 재해로의 유한 샘플 경계를 고려한 고확률 유한 샘플 경계를 제공한다.
• 이론적 분석 결과, 재해로 경계는 $ u\sqrt{2\log(1/\delta)/m} $로 스케일링되며, 여기서 $ u $ 는 유계 손실이고 $ m $ 은 반복 횟수이다.
• 특정 손실 함수와 데이터 수집 전략 선택을 통해, 기존의 비어드 인식 알고리즘인 early update와 LaSO를 특수 케이스로 복원할 수 있다.
• 정지 및 재설정 데이터 수집 전략에 대해, 재해로 경계에는 추가 항 $ u(1 - \frac{1}{m}\sum_{t=1}^{m}\hat{\alpha}(\theta_t)) $ 가 포함되며, 이는 정지/재설정 확률이 감소함에 따라 점점 사라진다.
• 최적의 가설이 비어드에서 벗어난 이후에도 오라클 피드백을 통해 비어드 이웃에 대한 정보를 확보함으로써, 모델 오류에 대한 강건성을 향상시킬 수 있다.
• 실험적 검증 결과, 특히 비어드 검색에 민감한 환경에서 표준 우도 기반 훈련보다 더 우수한 일반화 성능을 보였다.