[논문 리뷰] An Optimal Control Approach to Sequential Machine Teaching

Laurent Lessard, Xuezhou Zhang외 1명|arXiv (Cornell University)|2018. 10. 15.

Machine Learning and Algorithms참고 문헌 13인용 수 9

한 줄 요약

이 논문은 최적 제어 이론을 활용해 순차적 기계 학습을 시간 최적 제어 문제로 공식화하며, 페트로얀의 최대 원리(Pontryagin's Maximum Principle)를 적용해 최소 제곱 손실을 갖는 경사 하강법 학습자에 대한 최적의 학습 시퀀스를 도출한다. 최적 제어는 탐욕 휠러스틱스보다 훨씬 짧은 학습 시퀀스를 제공하며, 최대 25%의 단계 수 감소를 달성한다. 또한 작은 단계 크기에서 높은 정확도를 유지하는 확장 가능한 연속 근사법(CNLP)을 제안한다.

ABSTRACT

Given a sequential learning algorithm and a target model, sequential machine teaching aims to find the shortest training sequence to drive the learning algorithm to the target model. We present the first principled way to find such shortest training sequences. Our key insight is to formulate sequential machine teaching as a time-optimal control problem. This allows us to solve sequential teaching by leveraging key theoretical and computational tools developed over the past 60 years in the optimal control community. Specifically, we study the Pontryagin Maximum Principle, which yields a necessary condition for optimality of a training sequence. We present analytic, structural, and numerical implications of this approach on a case study with a least-squares loss function and gradient descent learner. We compute optimal training sequences for this problem, and although the sequences seem circuitous, we find that they can vastly outperform the best available heuristics for generating training sequences.

연구 동기 및 목표

• 순차적 학습자를 목표 모델로 이끄는 가장 짧은 학습 시퀀스를 찾는 문제에 대응하기 위해.
• 순차적 기계 학습에서 탐욕 휠러스틱스의 비최적성 문제를 최적 제어 이론을 적용해 해결하기 위해.
• 최적 학습 시퀀스를 계산하기 위한 원리에 기반한 분석적 접근법을 제공하기 위해.
• 이산 및 연속 시간 최적 제어 공식화를 해결하기 위한 확장 가능한 계산 도구(NLP 및 CNLP)를 개발하기 위해.
• Pontryagin 최대 원리의 이론적 분석을 통해 최적 학습 경로의 구조적 통찰을 드러내기 위해.

제안 방법

• 시작 및 종료 모델 상태는 고정되어 있고 종료 시간은 자유로운 조건 하에 순차적 기계 학습을 시간 최적 제어 문제로 공식화한다.
• 최적성 조건을 유도하기 위해 페트로얀 최대 원리(Pontryagin Maximum Principle, PMP)를 적용한다.
• 최소 제곱 손실을 갖는 경사 하강법 학습자에 대해 최적 경로의 2차원 구조적 특성화를 도출한다.
• 정확한 이산 시간 해법(NLP)과 연속 근사법(CNLP)을 개발하여 최적 입력 시퀀스를 계산한다.
• 연속적 CNLP 해를 기반으로 한 참조 경로를 사용해 모델 예측 제어(MPC)를 적용하여 강인한 피드백 정책을 생성한다.
• PMP 조건에서 유도된 경계값 문제를 수치 최적화를 통해 해결한다.

실험 결과

연구 질문

• RQ1 최적 제어 이론을 활용해 탐욕 휠러스틱스보다 짧은 학습 시퀀스를 순차적 기계 학습에서 찾을 수 있는가?
• RQ2 최소 제곱 손실을 갖는 경사 하강법 학습자에 대해 최적 학습 시퀀스는 어떤 구조적 특성을 갖는가?
• RQ3 최적 제어 기반 학습의 성능은 시퀀스 길이 측면에서 탐욕적 및 휠러스틱스 방법과 비교해 어떻게 되는가?
• RQ4 연속 시간 근사법(CNLP)은 이산 최적 시퀀스를 정확하고 확장 가능하게 근사할 수 있는가?
• RQ5 오픈 루프 학습 시퀀스의 한계는 무엇이며, 피드백 정책은 실용적 수준에서의 수치 오차를 어떻게 완화할 수 있는가?

주요 결과

• NLP 솔버는 세 테스트 케이스에서 각각 151, 153, 259단계의 학습 시퀀스를 발견했으며, 탐욕 방법의 219, 241, 310단계보다 뛰어난 성능을 보였다.
• 초기 가중치 w₀ = (a, 0)이고 목표 w⋆ = (0, 2a)인 작업에서, a가 증가함에 따라 탐욕 대비 최적 시퀀스 길이 비율이 지수적으로 증가하여 탐욕 방법의 심각한 비최적성임을 입증했다.
• 학습률 η가 작을 경우 CNLP 방법은 이산 NLP 해에 매우 가까운 근사를 제공했으며, 시퀀스 길이에 영향을 받지 않는 실행 시간을 가졌다.
• 최적 경로는 진행 속도가 느려지는 '압축된 방향'을 피하는 반면, 탐욕 방법은 종종 수렴 속도가 느린 영역으로 내려가는 경향이 있다.
• 최적 제어 접근법은 최소 제곱 손실과 기울기 갱신의 구조 덕분에, 모델 차원에 관계없이 문제의 본질이 항상 2차원임을 드러냈다.
• CNLP 기반 참조 경로에 대해 모델 예측 제어(MPC)를 적용하면 수치 오차를 보완하기 위해 강인한 피드백 정책을 생성할 수 있다.