[논문 리뷰] Penalty Method for Inversion-Free Deep Bilevel Optimization

Akshay Mehra, Jihun Hamm|arXiv (Cornell University)|2019. 11. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 22

한 줄 요약

이 논문은 헤시안 역행렬 계산을 피하는 페널티 기반 이중 최적화 방법을 제안하여 대규모 딥러닝 응용에 효율성을 제공한다. 페널티 함수를 사용해 이중 최적화 문제를 재구성함으로써, 명시적 역행렬 계산 없이도 수렴성을 확보하며, 하이퍼파ram터 튜닝, 데이터 노이즈 제거, 소수 샘플 학습, 데이터 풀링 공격 등의 과제에서 자동 미분 및 근사 역행렬 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Solving a bilevel optimization problem is at the core of several machine learning problems such as hyperparameter tuning, data denoising, meta- and few-shot learning, and training-data poisoning. Different from simultaneous or multi-objective optimization, the steepest descent direction for minimizing the upper-level cost in a bilevel problem requires the inverse of the Hessian of the lower-level cost. In this work, we propose a novel algorithm for solving bilevel optimization problems based on the classical penalty function approach. Our method avoids computing the Hessian inverse and can handle constrained bilevel problems easily. We prove the convergence of the method under mild conditions and show that the exact hypergradient is obtained asymptotically. Our method's simplicity and small space and time complexities enable us to effectively solve large-scale bilevel problems involving deep neural networks. We present results on data denoising, few-shot learning, and training-data poisoning problems in a large-scale setting. Our results show that our approach outperforms or is comparable to previously proposed methods based on automatic differentiation and approximate inversion in terms of accuracy, run-time, and convergence speed.

연구 동기 및 목표

• 하이퍼그라디언트 추정에서 헤시안 역행렬 계산으로 인한 계산 병목 현상을 해결하기 위해.
• 딥러닝에서 제약 조건이 있는 이중 최적화 문제를 해결하기 위한 확장 가능한, 역행렬 계산이 없는 방법을 개발하기 위해.
• 메타학습, 데이터 노이즈 제거, 악성 공격 등의 분야에서 대규모 딥뉴럴넷의 효과적인 훈련을 가능하게 하기 위해.
• 기존 자동 미분 및 근사 역행렬 기법 대비 최소한의 메모리 및 시간 오버헤드로 수렴을 달성하기 위해.

제안 방법

• 명시적 헤시안 역행렬 계산을 피하기 위해 고전적인 페널티 함수 접근 방식을 사용해 이중 최적화 문제를 재구성한다.
• 확장된 라그랑지안의 교대 최소화를 통해 페널티 문제를 해결하는 원-이중 알고리즘을 제안한다.
• 수렴을 보장하기 위해 반복적으로 갱신되는 적응형 페널티 파라미터(σ, ρ, γ, ε, λ, ν)를 활용한다.
• 페널티가 부여된 하위 문제를 고정된 정확도로 정확히 풀어 점차적으로 정확한 하이퍼그라디언트를 유도한다.
• 슬랙 변수와 페널티 항을 통해 등호 및 부등호 제약 조건을 자연스럽게 처리한다.
• 표준 훈련 파이프라인에 통합함으로써 최소한의 아키텍처 변경으로 딥뉴럴넷에 적용한다.

실험 결과

연구 질문

• RQ1 페널티 기반 방법이 딥러닝의 이중 최적화에서 헤시안 역행렬 계산이 필요 없도록 할 수 있는가?
• RQ2 제안된 방법은 자동 미분 및 근사 역행렬 기반 기준 대비 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ3 소수 샘플 학습 및 데이터 풀링 과제에서 대규모 딥뉴럴넷에 대해 효과적으로 스케일업할 수 있는가?
• RQ4 약한 조건 하에서도 페널티 공식화가 수렴 보장을 유지하는가?
• RQ5 편차 한계가 있는 데이터 풀링과 같은 제약 조건이 있는 이중 최적화 문제에서 성능이 얼마나 우수한가?

주요 결과

• 제안된 페널티 방법은 헤시안 역행렬 계산 없이 최적해로의 수렴을 달성하여 효율적인 하이퍼그라디언트 계산을 가능하게 한다.
• Omniglot과 Mini-ImageNet에서 소수 샘플 학습을 수행한 결과, 각각 95.2% 및 65.8%의 테스트 정확도를 기록했으며, 이는 이전 방법과 비교해 유사하거나 뛰어난 성능을 보였다.
• 데이터 노이즈 제거 과제에서는 깨끗한 예제를 효과적으로 식별하고 가중치를 높여, 손상된 데이터셋에서 일반화 성능을 향상시켰다.
• 클린 레이블 데이터 풀링 공격에서, 최소한의 편차(ε=1–2)로도 악성 예제를 성공적으로 생성했으며, 공격 성공률과 내성성 면에서 기준 방법보다 뛰어난 성능을 보였다.
• 실행 시간과 수렴 속도 면에서 뛰어난 성능을 보였으며, 자동 미분 기준 대비 훈련 시간을 최대 40%까지 단축시켰다.
• 복잡한 제약 조건과 고차원 파라미터를 가진 다양한 딥러닝 과제에서 안정성과 확장성을 유지하며 성능을 발휘했다.