[논문 리뷰] On the Iteration Complexity of Hypergradient Computation

Riccardo Grazzi, Luca Franceschi외 2명|arXiv (Cornell University)|2020. 06. 29.

Model Reduction and Neural Networks참고 문헌 29인용 수 22

한 줄 요약

이 논문은 수축 사상 조건을 가정할 때 이중 최적화에서 초기차수 계산을 위한 통합 이론적 분석을 제공하며, 반복 미분(ITD)과 근사 은밀한 미분(AID)을 비교한다. 반복 복잡도 한계를 설정하고, AID가 켤레 기울기 방법을 사용할 경우 특히 하위 수준 맵이 수축적일 경우 계산 효율성과 근사 정확도에서 뛰어난 성능을 보임을 밝혀낸다.

ABSTRACT

We study a general class of bilevel problems, consisting in the minimization of an upper-level objective which depends on the solution to a parametric fixed-point equation. Important instances arising in machine learning include hyperparameter optimization, meta-learning, and certain graph and recurrent neural networks. Typically the gradient of the upper-level objective (hypergradient) is hard or even impossible to compute exactly, which has raised the interest in approximation methods. We investigate some popular approaches to compute the hypergradient, based on reverse mode iterative differentiation and approximate implicit differentiation. Under the hypothesis that the fixed point equation is defined by a contraction mapping, we present a unified analysis which allows for the first time to quantitatively compare these methods, providing explicit bounds for their iteration complexity. This analysis suggests a hierarchy in terms of computational efficiency among the above methods, with approximate implicit differentiation based on conjugate gradient performing best. We present an extensive experimental comparison among the methods which confirm the theoretical findings.

연구 동기 및 목표

• 이중 최적화에서 초기차수 근사 방법의 반복 복잡도를 분석하기 위한 통합 이론적 프레임워크를 제공하는 것.
• 반복 미분(ITD)과 근사 은밀한 미분(AID) 방법 간의 계산 효율성과 근사 품질을 비교하는 것.
• 하위 수준 고정점 맵이 수축 사상임을 가정할 때 ITD와 AID의 명시적 반복 복잡도 한계를 설정하는 것.
• 초기화수 최적화, 메타학습 및 균형 모델(EQM)에서 이러한 방법의 실용적 성능을 평가하는 것.
• AID가 켤레 기울기 방법을 사용할 경우 정확도와 메모리 효율성 측면에서 ITD를 능가하는 조건을 규명하는 것.

제안 방법

• 상위 수준 목적이 수축 사상에 의해 정의된 매개변수 고정점 방정식의 해에 의존하는 일반적인 이중 문제를 수립한다.
• 주요 두 가지 초기차수 근사 전략을 분석한다: 정방향 또는 역방향 자동 미분를 사용하는 반복 미분(ITD), 그리고 켤레 기울기로 선형 시스템을 푸는 근사 은밀한 미분(AID).
• 수축 조건 하에서 ITD와 AID의 이론적 반복 복잡도 한계를 유도하여 직접적인 정량적 비교를 가능하게 한다.
• 고정점 맵의 야코비안이 비대칭일 경우, AID에서 정규 방정식을 풀기 위해 켤레 기울기 방법을 적용한다.
• 균형 모델에서 수축 조건(||A|| < 1)을 확보하기 위해 스펙트럼 투영을 활용하여 수렴성과 안정성을 보장한다.
• 초기화수 최적화, 메타학습 및 균형 모델(EQM)에서 광범위한 실험을 수행하여 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 하위 수준 고정점 문제에 대해 수축 사상 조건을 가정할 때 ITD와 AID의 반복 복잡도는 어떻게 비교될 수 있는가?
• RQ2 이중 최적화에서 켤레 기울기 방법을 사용한 AID와 ITD 간의 상대적 근사 정확도와 계산 효율성은 어떠한가?
• RQ3 수축 조건(||A|| < 1)을 강제 적용할 경우, 균형 모델에서 초기차수 근사 방법의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 ITD가 AID를 능가하는 경우는 어떤 설정에서 발생하는가, 특히 수축 조건이 위반될 경우에 대해 설명하라.
• RQ5 스펙트럼 투영 또는 정규화가 수축 조건을 얼마나 잘 강제로 적용하고, 방법의 안정성을 얼마나 향상시키는가?

주요 결과

• AID는 켤레 기울기 방법을 기반으로 하여 근사 정확도와 반복 복잡도 사이의 최적의 트레이드오프를 달성하며, 수축 조건이 성립할 경우 ITD보다 계산 효율성이 뛰어나다.
• 이론적 반복 복잡도 한계는 하위 수준 문제의 헤시안 행렬이 잘 조절되어 있을 경우 AID가 ITD보다 수렴 속도가 빠르다는 것을 보여준다.
• 수축 조건을 스펙트럼 투영을 통해 강제로 적용할 경우(||A|| < 1), 모든 방법이 안정적으로 수렴한다; 그러나 AID는 켤레 기울기 방법을 사용할 경우 ITD보다 훨씬 빠르고 메모리 효율성이 뛰어나다.
• 수축 조건을 강제로 적용하지 않을 경우, AID 방법(특히 메모리 없는 변종)은 광범위한 학습률 범위에서 불안정해지지만, ITD는 더 우수한 내성적 안정성을 유지한다.
• 전이 행렬 A의 스펙트럼 노름을 [0, 1−ε]로 투영하는 것은 강력한 정규화 효과를 가지며, 일반화와 안정성 향상에 기여한다. 이는 이전 연구 결과와 일치한다.
• 실험 결과는 하위 수준 맵이 수축적일 경우 AID가 켤레 기울기 방법을 사용할 때 대규모 이중 최적화 문제에서 수렴성과 낮은 메모리 사용량 측면에서 가장 선호되는 방법임을 확인한다.