[논문 리뷰] Linear Inequality Constraints for Neural Network Activations.

Thomas Frerix, Matthias Nießner외 1명|arXiv (Cornell University)|2019. 02. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 3

한 줄 요약

이 논문은 훈련 중에 신경망 활성화에 동차 선형 부등식 제약 조건(Ax ≤ 0)을 직접 통합하는 방법을 제안한다. 초기화 시 가용 영역의 매개변수화와 표준 확률적 경사 하강법을 사용하여, 런타임 프로젝션 없이도 항상 제약 조건을 만족시키며, 후기 투영 방법 대비 최대 100배 빠른 추론을 달성한다.

ABSTRACT

We propose a method to impose homogeneous linear inequality constraints of the form $Ax\leq 0$ on neural network activations. The proposed method allows a data-driven training approach to be combined with modeling prior knowledge about the task. One way to achieve this task is by means of a projection step at test time after unconstrained training. However, this is an expensive operation. By directly incorporating the constraints into the architecture, we can significantly speed-up inference at test time; for instance, our experiments show a speed-up of up to two orders of magnitude over a projection method. Our algorithm computes a suitable parameterization of the feasible set at initialization and uses standard variants of stochastic gradient descent to find solutions to the constrained network. Thus, the modeling constraints are always satisfied during training. Crucially, our approach avoids to solve an optimization problem at each training step or to manually trade-off data and constraint fidelity with additional hyperparameters. We consider constrained generative modeling as an important application domain and experimentally demonstrate the proposed method by constraining a variational autoencoder.

연구 동기 및 목표

• 신경망에 도메인 특화 사전 지식을 활성화에 대한 선형 부등식 제약 조건을 통해 통합할 수 있도록 하는 것.
• 테스트 시 비용이 많이 드는 프로젝션 단계가 필요 없도록 제약 조건을 네트워크 아키텍처에 직접 통합하는 것.
• 제약 조건 충족도를 위한 추가 최적화 단계나 하이퍼파rameter 조정을 피하면서도 훈련 효율성을 유지하는 것.
• 특히 변분 오토인코더에서 제약 조건이 있는 딥 생성 모델링의 가능성과 이점들을 입증하는 것.

제안 방법

• 네트워크 초기화 시 Ax ≤ 0를 만족하는 활성화의 가용 영역을 매개변수화하여, 비제약 변수를 제약 영역으로 매핑하는 변환을 사용한다.
• 표준 확률적 경사 하강법을 사용해 엔드 투 엔드 훈련을 수행함으로써, 최적화 전반에 걸쳐 제약 조건이 내재적으로 만족됨을 보장한다.
• 각 훈련 단계에서 제약 최적화 문제를 해결하는 대신, 사전에 가용 매개변수화를 정의함으로써 제약 최적화 문제를 피한다.
• 역전파 과정을 통해 제약 조건의 구조가 유지되어, 제약 다양체 내에서 기울기 기반 학습이 가능해진다.
• 잠재 표현에 대한 제약 조건(예: 음수 금지, 범위 제한)을 부여하기 위해 변분 오토인코더에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 런타임 프로젝션 없이도 신경망 활성화에 대한 선형 부등식 제약 조건을 아키텍처에 직접 통합할 수 있는가?
• RQ2 훈련 중에 제약 조건을 통합하면 후기 투영 대비 상당한 추론 속도 향상이 이루어지는가?
• RQ3 제약 조건 충족도를 위한 추가 하이퍼파rameter 없이도 이 방법이 훈련 효율성을 유지할 수 있는가?
• RQ4 이 방법은 생성 모델링을 위한 제약 조건이 있는 변분 오토인코딩에서 얼마나 효과적인가?

주요 결과

• 제안된 방법은 후기 투영 기반 기준 대비 추론 속도를 최대 100배 빠르게 한다.
• 추가 최적화 단계나 하이퍼파rameter 조정 없이도 훈련 전반에 걸쳐 제약 조건이 엄격히 준수된다.
• 특히 변분 오토인코더에서 사전 지식의 효율적 통합이 가능해지며, 신경망에 통합된다.
• 표준 확률적 경사 하강법을 사용함으로써 훈련 안정성과 수렴성이 유지된다.