[논문 리뷰] Evaluating Curriculum Learning Strategies in Neural Combinatorial Optimization

Michal Lisicki, Arash Afkanpour외 1명|arXiv (Cornell University)|2020. 11. 12.

Topic Modeling참고 문헌 21인용 수 11

한 줄 요약

이 논문은 다양한 문제 크기에서 TSP를 해결하는 데 있어 신경 조합 최적화(NCO) 모델의 성능을 향상시키기 위해 적응형 계단형 샘플링을 사용하는 커리큘럼 학습 전략을 제안한다. 작업 난이도를 동적으로 조정하고 이전에 다룬 작은 문제들을 복습함으로써 치명적인 망각을 줄이며, 더 나은 일반화 성능을 달성한다. 이 방법은 표준 커리큘럼 및 균일 샘플링 접근 방식보다 문제 크기 4~150 범위에서 최적성 격차 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Neural combinatorial optimization (NCO) aims at designing problem-independent and efficient neural network-based strategies for solving combinatorial problems. The field recently experienced growth by successfully adapting architectures originally designed for machine translation. Even though the results are promising, a large gap still exists between NCO models and classic deterministic solvers, both in terms of accuracy and efficiency. One of the drawbacks of current approaches is the inefficiency of training on multiple problem sizes. Curriculum learning strategies have been shown helpful in increasing performance in the multi-task setting. In this work, we focus on designing a curriculum learning-based training procedure that can help existing architectures achieve competitive performance on a large range of problem sizes simultaneously. We provide a systematic investigation of several training procedures and use the insights gained to motivate application of a psychologically-inspired approach to improve upon the classic curriculum method.

연구 동기 및 목표

• 신경 조합 최적화(NCO) 모델과 고전적 솔버 간의 성능 격차를 해소하기 위해, 다양한 문제 크기에서 일반화할 수 있도록 모델을 설계하는 것.
• 커리큘럼 학습이 치명적인 망각을 완화하고 NCO에서 지식 전이를 향상시키는지, 특히 다양한 TSP 인스턴스 크기 간에 어떻게 작용하는지 조사하는 것.
• 특히 복습 기반 및 적응형 방법을 포함한 다양한 샘플링 전략의 효과를 평가하여 모델의 일반화 능력과 성능 일관성에 미치는 영향을 분석하는 것.
• 적응형 계단형과 같은 생물학적으로 영감을 얻고 심리학적으로 근거를 둔 훈련 전략이 조합 최적화 분야의 딥러닝에 적용 가능한지 탐색하는 것.

제안 방법

• 다양한 크기의 TSP 인스턴스를 해결하기 위한 기본 아키텍처로 [19]에서 제안한 어텐션 기반 모델(AM)을 채택하였다.
• 모델 성능에 기반해 동적으로 조정되는 커리큘럼 학습 프레임워크를 설계하여, 난이도가 증가하는 순서로 훈련 작업을 스케줄링하였다.
• 성능 임계값(α = 0.05)을 사용해 작업 난이도를 증가시킬 시점을 결정하고, 이전에 다룬 작은 문제들을 복습하는 적응형 계단형 샘플링을 구현하였다.
• 현재 그래프 크기에 비례하여 에포크당 배치 수를 정의하여 다양한 크기 간 데이터 노출를 균형 잡았다.
• 최적성 격차 계산을 위한 기준으로 헬드-카프(HK) 하한값을 사용하여 일관되고 도메인 표준 평가를 확보하였다.
• 균일 샘플링, 고전적 커리큘럼, 적응형 계단형을 포함한 다양한 샘플링 전략으로 모델을 훈련하고, 모든 문제 크기에서 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습은 다양한 TSP 문제 크기 간 NCO 모델의 일반화를 향상시킬 수 있는가?
• RQ2 문제 크기 간 지식 전이의 정도는 어떻게 변화하며, 크기가 증가함에 따라 매끄럽게 변화하는가?
• RQ3 증가하는 문제 크기에서 훈련할 경우 치명적인 망실이 성능에 얼마나 큰 영향을 미치는가?
• RQ4 복습 기반의 적응형 커리큘럼 전략인 적응형 계단형이 기존의 커리큘럼 및 균일 샘플링 전략보다 NCO에서 더 나은 성능을 낼 수 있는가?
• RQ5 생물학적으로 영감을 얻고 심리학적으로 근거를 둔 훈련 전략인 적응형 계단형이 조합 최적화에서 모델 성능 향상과 망실 감소에 효과적인가?

주요 결과

• NCO에서 문제 크기 간 지식 전이는 측정 가능하며, 크기가 증가함에 따라 점점 감소하는 경향을 보이며, 작은 크기에서 큰 크기로의 전이가 더 높은 편이다.
• 균일 샘플링으로 훈련한 모델는 가장 일관된 성능를 보였지만 전체 최적성 격차가 가장 높아 일반화가 최적화되지 않은 것으로 나타났다.
• 고전적 커리큘럼 학습은 작은 문제에서의 성능 저하를 줄였지만, 이전에 다룬 작업에 대해 여전히 치명적인 망실을 겪었다.
• 동적 난이도 조정과 복습을 결합한 적응형 계단형 전략은 평균 성능와 망실 간 최적의 균형을 달성하여 모든 기준 모델을 초월하였다.
• 적응형 계단형으로 훈련한 최종 모델은 문제 크기 4에서 150까지 모든 범위에서 최적성 격차가 10% 미만이었으며, 5회 반복 실험에서 신뢰구간이 안정적인 성능를 보였다.
• 결과는 작은 문제의 복습이 크기 간 성능 유지에 필수적임을 입증하며, NCO에서 적응형이고 심리학적으로 근거를 둔 훈련 스케줄이 필요하다는 것을 확인시켰다.