[논문 리뷰] Learning to Search via Retrospective Imitation

Jialin Song, Ravi Lanka외 4명|arXiv (Cornell University)|2018. 04. 03.

Artificial Intelligence in Games참고 문헌 29인용 수 17

한 줄 요약

이 논문은 조건부 탐색 공간에서 백트래킹 후 자기 생성된 탐색 추적을 후행적으로 보완함으로써 강화학습 없이도 정책을 향상시키는 후행적 암시 학습을 제안한다. 이는 반복적인 전문가 쿼리가 필요 없이 Gurobi와 같은 상용 솔버 및 암시 학습보다도 더 높은 성능과 더 큰 문제 인스턴스에 대한 일반화 능력을 달성한다.

ABSTRACT

We study the problem of learning a good search policy for combinatorial search spaces. We propose retrospective imitation learning, which, after initial training by an expert, improves itself by learning from extit{retrospective inspections} of its own roll-outs. That is, when the policy eventually reaches a feasible solution in a combinatorial search tree after making mistakes and backtracks, it retrospectively constructs an improved search trace to the solution by removing backtracks, which is then used to further train the policy. A key feature of our approach is that it can iteratively scale up, or transfer, to larger problem sizes than those solved by the initial expert demonstrations, thus dramatically expanding its applicability beyond that of conventional imitation learning. We showcase the effectiveness of our approach on a range of tasks, including synthetic maze solving and combinatorial problems expressed as integer programs.

연구 동기 및 목표

• 보상 신호가 희박하고 전문가의 시범이 비용이 많이 들기 때문에 조합적 공간에서 효과적인 탐색 정책을 학습하는 데 도전하는 것.
• 반복적인 전문가 쿼리 없이도 자기 생성된 롤아웃과 환경 피드백만을 사용하여 탐색 정책을 향상시키는 방법을 개발하는 것.
• 원래 전문가 시범에 포함된 문제 인스턴스보다 더 큰 문제 인스턴스로 학습된 정책의 스케일업을 가능하게 하는 것.
• 특정 조건 하에서 후행적 암시 학습이 표준 암시 학습보다 우월함을 이론적으로 정당화하는 것.
• A* 탐색, 정수 프로그램을 위한 분할정복 탐색, 최소 정점 커버 문제에서 이론적 분석과 함께 이 방법의 성능 향상과 일반화 능력을 실증적으로 검증하는 것.

제안 방법

• 이 방법은 자기 생성된 롤아웃을 분석하고 해답에 도달하는 가장 짧은 타당 경로를 추출하여 백트래킹과 잘못된 결정을 제거하는 후행적 오라클을 사용한다.
• 이것은 DAgger 알고리즘의 변형을 적용하여, 후행적으로 구성된 최적의 추적을 사용해 정책을 반복적으로 개선한다.
• 이 접근법은 탐색 과정을 순차적 결정 문제로 간주하고, 개선된 추적에서의 암시 학습을 통해 정책을 훈련한다.
• 이 방법은 에이전트의 자체 롤아웃에서 합성 전문가 시범을 생성함으로써 전이 학습을 가능하게 하며, 원래의 시범보다 더 큰 문제 인스턴스에서의 훈련을 허용한다.
• 검색 노력 제어와 상용 솔버와의 공정한 비교를 위해 선택적 샘플링 전략('선택하기만')을 통합한다.
• 이론적 분석을 통해 특정 가정 하에서 후행적 암시 학습이 표준 암시 학습보다 낮은 정책 오차율을 유도함을 입증한다.

실험 결과

연구 질문

• RQ1 반복적인 전문가 쿼리 없이도 자기 롤아웃과 환경 피드백만을 사용하여 탐색 정책을 향상시킬 수 있는가?
• RQ2 후행적 암시 학습은 원래 전문가 시범에 포함된 문제 인스턴스보다 더 큰 문제 인스턴스로 일반화할 수 있는가?
• RQ3 후행적 암시 학습은 표준 암시 학습보다 낮은 정책 오차율과 더 빠른 수렴 속도를 보이는가?
• RQ4 대규모 정수 프로그램에서 후행적 암시 학습은 Gurobi, SCIP과 같은 표준 솔버와 비교해 어떤 성능을 보이는가?
• RQ5 후행적 암시 학습이 전통적 암시 학습을 증명적으로 초월할 수 있는 조건은 무엇인가?

주요 결과

• 미로 태스크에서 12개의 웨이포인트를 초월한 테스트 인스턴스 60%를 해결한 반면, SMILe는 13개 웨이포인트를 초월한 인스턴스 75%에서 실패하여 강력한 외삽 능력을 입증했다.
• 14개의 웨이포인트(560개의 이진 변수)를 가진 리스크 인식 경로 계획에서, 후행적 DAgger는 Gurobi보다 최적성 갭을 50% 낮게 달성했다.
• 최소 정점 커버 문제에서 후행적 암시 학습은 전통적 암시 학습 및 상용 솔버를 항상 앞서며, 가장 큰 그래프 규모에서 40%의 성능 격차를 보였다.
• 모든 문제 규모에서 탐색된 노드 수가 가장 적어, 더 빠른 수렴과 더 효율적인 탐색을 의미한다.
• 이론적 분석을 통해 후행적 암시 학습이 표준 암시 학습보다 낮은 오차율을 유도함을 확인했으며, 이는 짧은 탐색 시간과도 상관관계가 있다.
• 실증 결과는 낮은 오차율이 더 적은 탐색 노력으로 이어짐을 확인했으며, 이는 미로 실험에서 최소한의 노드 탐색을 통해 입증되었다.