[논문 리뷰] Input Convex Neural Networks

Brandon Amos, Lei Xu외 1명|arXiv (Cornell University)|2016. 09. 22.

Neural Networks and Applications참고 문헌 38인용 수 97

한 줄 요약

이 논문은 입력 볼록 신경망(ICNN)을 소개한다. ICNN는 네트워크 파라미터를 제약하여 일부 입력에 대해 출력이 볼록이 되도록 보장하는 딥러닝 아키텍처이다. 이는 볼록 최적화를 통한 전역 최적의 효율적 추론을 가능하게 하여, 이전 방법에 비해 구조적 예측, 이미지 보정, 연속 제어 강화학습에서 성능을 크게 향상시킨다.

ABSTRACT

This paper presents the input convex neural network architecture. These are scalar-valued (potentially deep) neural networks with constraints on the network parameters such that the output of the network is a convex function of (some of) the inputs. The networks allow for efficient inference via optimization over some inputs to the network given others, and can be applied to settings including structured prediction, data imputation, reinforcement learning, and others. In this paper we lay the basic groundwork for these models, proposing methods for inference, optimization and learning, and analyze their representational power. We show that many existing neural network architectures can be made input-convex with a minor modification, and develop specialized optimization algorithms tailored to this setting. Finally, we highlight the performance of the methods on multi-label prediction, image completion, and reinforcement learning problems, where we show improvement over the existing state of the art in many cases.

연구 동기 및 목표

• 구조적 예측에서의 출력이 볼록이 되도록 보장하는 신경망 아키텍처를 개발하여 볼록 최적화를 통한 전역 최적의 추론을 가능하게 한다.
• 출력 함수의 볼록성을 활용하여 구조적 예측 및 데이터 보정 작업에서 효율적이고 확장 가능한 추론을 가능하게 한다.
• Q함수를 입력 볼록 네트워크로 모델링하여 딥러닝 모델을 연속 제어 강화학습에 확장하고 최적의 액션 선택을 가능하게 한다.
• 볼록성 제약이 복잡한 작업(예: 이미지 보정 및 로봇 제어)에서도 표현 능력을 제한하지 않음을 입증한다.
• 최적화를 추론 과정에 통합하는 통합 프레임워크를 제공하여 히우리스틱 또는 비볼록 추론을 전역 최적 해로 대체한다.

제안 방법

• 완전 연결 및 컨볼루션 레이어의 가중치를 음이 아닌 값으로 제약하여 일부 입력에 대해 출력이 볼록이 되도록 하는 신경망 아키텍처를 제안한다.
• 입력 변수에 대해 일부 비볼록 경로를 允허하면서도 목표 변수에 대해 볼록성을 유지하는 부분 입력 볼록 변형(PICNN)을 도입한다.
• 추론 중 볼록 입력에 대한 argmin 문제를 효율적으로 해결하기 위해 투영된 경사하강법 및 번들 방법과 같은 특수 최적화 알고리즘을 개발한다.
• 최적화된 손실 함수의 최대 마진 구조적 예측 또는 암시적 미분을 통한 argmin 연산에 대한 역전파를 통해 네트워크를 훈련시킨다.
• 구조적 예측에서의 에너지 함수와 강화학습에서의 Q함수를 모델링하기 위해 ICNN 프레임워크를 적용하여 볼록 최적화를 통한 최적 추론을 가능하게 한다.
• 두 단계 훈련 과정을 사용한다: 먼저 손실의 볼록 근사를 통한 사전 훈련을 수행하고, 이후 암시적 미분을 통해 비가역적인 argmin 문제의 역전파를 처리하기 위해 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 어떻게 제약하여 일부 입력에 대해 출력이 볼凸이 되게 할 수 있으며, 이로 인해 볼凸 최적화를 통한 전역 최적 추론이 가능해지는가?
• RQ2 입력 볼凸성을 강제로 적용할 경우, 이미지 보정 및 강화학습과 같은 복잡한 작업에서 딥 네트워크의 표현 능력이 제한되는가?
• RQ3 ICNN의 성능은 구조적 예측 및 연속 제어 작업에서 최신 기술 모델과 비교해 어떻게 되는가?
• RQ4 전체 훈련 과정에서 비볼凸성이 존재함에도 불구하고 ICNN에서 효율적이고 확장 가능한 최적화를 달성할 수 있는가?
• RQ5 ICNN는 DDPG나 NAF와 같은 기존 기능 근사기의 즉각적인 대체로 사용될 수 있는가?

주요 결과

• 이미지 보정 작업에서 번들-엔트로피 훈련을 사용한 ICNN는 MSE 833.0을 기록하여 비볼凸 기반선(850.9)과 합성곱 모델(942)을 모두 능가했다.
• 경사하강법 최적화를 사용한 ICNN는 MSE 872.0을 기록하여, 비록 볼凸 제약이 있음에도 불구하고 간단한 최적화 방법을 사용함에도 불구하고 경쟁력 있는 성능을 보였다.
• OpenAI Gym MuJoCo 벤치마크에서 ICNN는 Humanoid(433.38)과 Hopper(831.00)에서 가장 높은 테스트 보상을 기록하여 DDPG 및 NAF를 모두 능가했다.
• HalfCheetah에서 ICNN는 테스트 보상 3822.99를 기록하여 DDPG(2909.77)와 NAF(2575.16)를 크게 능가했다.
• Reacher(-5.08)와 Walker2d(298.21)에서 ICNN는 DDPG 및 NAF를 모두 능가하여 연속 제어에서 뛰어난 강건성을 보였다.
• 결과는 입력 볼凸성이 표현 능력을 억제하지 않음을 입증하며, 번들-엔트로피 훈련을 사용한 ICNN가 비볼凸 모델과 동일하거나 이를 초월하는 성능을 기록했다.