[논문 리뷰] Backpropagation through Combinatorial Algorithms: Identity with Projection Works

Subham Sekhar Sahoo, Anselm Paulus외 4명|arXiv (Cornell University)|2022. 05. 30.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 역전파 과정에서 조합 최적화 솔버를 음성 항등층으로 간주하고, 비용 벡터의 투영을 통해 문제에 특화된 불변성을 활용하여 학습을 안정화함으로써, 초모수 없이 효율적인 조합 최적화 솔버의 미분 가능성을 제안한다. 이 방법은 추가적인 솔버 호출을 피하고, 딥 그래프 매칭 및 이미지 검색과 같은 작업에서 이전 방법보다 뛰어난 성능을 보이며, 문제에 특화된 마진 대신 노이즈 유도 정규화를 통해 강건성을 향상시킨다.

ABSTRACT

Embedding discrete solvers as differentiable layers has given modern deep learning architectures combinatorial expressivity and discrete reasoning capabilities. The derivative of these solvers is zero or undefined, therefore a meaningful replacement is crucial for effective gradient-based learning. Prior works rely on smoothing the solver with input perturbations, relaxing the solver to continuous problems, or interpolating the loss landscape with techniques that typically require additional solver calls, introduce extra hyper-parameters, or compromise performance. We propose a principled approach to exploit the geometry of the discrete solution space to treat the solver as a negative identity on the backward pass and further provide a theoretical justification. Our experiments demonstrate that such a straightforward hyper-parameter-free approach is able to compete with previous more complex methods on numerous experiments such as backpropagation through discrete samplers, deep graph matching, and image retrieval. Furthermore, we substitute the previously proposed problem-specific and label-dependent margin with a generic regularization procedure that prevents cost collapse and increases robustness.

연구 동기 및 목표

• 이산 최적화에서의 0 또는 정의되지 않은 기울기 문제를 해결함으로써, 이산 조합 최적화 솔버를 포함하는 딥 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 조합 최적화 솔버의 기울기 추정을 위한 고비용의 솔버 호출이나 초모수 조정이 필요 없도록 한다.
• 예를 들어 정규화 및 투영 대칭성과 같은 이차 최적화 문제의 불변성을 활용하여 학습을 안정화한다.
• 이전 작업에서 사용된 문제에 특화된 레이블 의존성 마진을 제거하고, 비용 붕괴를 방지하고 강건성을 향상시키는 일반적인 노이즈 기반 정규화로 대체한다.
• 이론적으로 탄탄하고 기하학적 인식이 가능한 기울기 추정 방법을 제공하며, 이는 단순하면서도 효과적이다.

제안 방법

• 역전파 과정에서 조합 최적화 솔버를 음성 항등층으로 간주하여, 추가적인 솔버 평가 없이 들어오는 기울기를 직접 전파한다.
• 계산 그래프 내 비용 벡터에 투영 연산을 도입하여, 문제의 불변성에 해당하는 기울기 성분(예: 정규화, 스케일링)을 제거한다.
• 역전파 단계에서 투영을 적용하여 솔루션에 영향을 주지 않는 임의의 업데이트를 제거하고, 관련된 기울기 방향만 유지한다.
• 입력 노이즈의 변형을 통해 솔루션 공간에 암묵적인 마진을 유도함으로써, 이전 작업에서 요구된 지표 기반 마진이 필요 없도록 한다.
• 손실 표면의 조각별 선형 보간을 사용하여 방법을 수식화하고, 약한 가정 하에 수렴성을 증명한다.
• 이론적 분석 결과, 이 방법은 비용 붕괴를 방지하고 적절한 조건 하에서 선형화된 손실에서 내림차순을 보장한다.

실험 결과

연구 질문

• RQ1 추가적인 솔버 호출 없이도, 보다 간단하고 초모수 없는 기울기 추정기로 조합 최적화 솔버를 설계할 수 있는가?
• RQ2 스케일이나 정규화와 같은 조합 최적화 문제의 불변성을 어떻게 활용하여 기울기 업데이트를 안정화할 수 있는가?
• RQ3 문제에 특화된 마진을 일반적인 노이즈 기반 정규화로 대체했을 때, 모델의 강건성과 수렴성에 어떤 영향을 미치는가?
• RQ4 솔버를 음성 항등층으로 간주했을 때, 기하학적 제약 조건 하에서 손실 표면에서 내림차순 방향을 제공하는가?
• RQ5 Blackbox Backpropagation와 같은 더 복잡한 베이스라인에 비해, 제안된 방법은 성능 및 학습 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 항등층-투영 방법은 딥 그래프 매칭, 이미지 검색, 이산 추론 작업에서 경쟁력 있는 성능을 달성하며, 초모수 없이도 이전 방법과 동등하거나 이를 초월한다.
• 입력 노이즈를 통해 일반적인 마진을 암묵적으로 도입함으로써 비용 붕괴를 방지하고 강건성을 향상시켜, 레이블 의존성 마진 설계가 필요 없어진다.
• 이론적 분석 결과, 이 방법은 약한 가정 하에 선형화된 손실 함수에서 내림차순을 보장하며, 솔루션이 변화할 경우 엄격한 개선이 이루어진다.
• 실험 결과로는, 이 방법이 기존 방법보다 안정적이고 빠르게 수렴함을 확인했으며, 특히 투영을 통해 불변성을 적절히 처리할 경우 두드러진 성능 향상을 보였다.
• 이 방법은 역전파 과정에서 추가적인 솔버 호출을 피하여, Blackbox Backpropagation와 같은 방법보다 계산적으로 더 효율적이다.
• 이 방법은 변형에 강건하며, 최단 경로, 순위 최적화, 키포인트 매칭 등 다양한 조합 문제에 대해 잘 일반화된다.