[논문 리뷰] Fenchel Lifted Networks: A Lagrange Relaxation of Neural Network Training

Fangda Gu, Armin Askari외 1명|arXiv (Cornell University)|2018. 11. 01.

Advanced Neural Network Applications인용 수 19

한 줄 요약

Fenchel lifted networks는 활성화 함수를 이중볼록 제약 조건으로 표현하고 라그랑주 완화를 사용하여 표준 학습 목표 함수의 엄밀한 하한을 도출하는 새로운 신경망 학습 프레임워크를 제안한다. 이 방법은 데이터 포인트와 레이어 간 병렬화가 가능한 효율적인 블록좌표강하 최적화를 가능하게 하며, 표준 완전히 연결된 신경망 및 컨볼루션 신경망과 동등하거나 그 이상의 성능을 달성한다.

ABSTRACT

Despite the recent successes of deep neural networks, the corresponding training problem remains highly non-convex and difficult to optimize. Classes of models have been proposed that introduce greater structure to the objective function at the cost of lifting the dimension of the problem. However, these lifted methods sometimes perform poorly compared to traditional neural networks. In this paper, we introduce a new class of lifted models, Fenchel lifted networks, that enjoy the same benefits as previous lifted models, without suffering a degradation in performance over classical networks. Our model represents activation functions as equivalent biconvex constraints and uses Lagrange Multipliers to arrive at a rigorous lower bound of the traditional neural network training problem. This model is efficiently trained using block-coordinate descent and is parallelizable across data points and/or layers. We compare our model against standard fully connected and convolutional networks and show that we are able to match or beat their performance.

연구 동기 및 목표

• 딥 신경망 학습에서의 비볼록성과 최적화 난이도 문제를 해결하기 위해.
• 성능를 유지하면서 볼록 완화에서 유래한 구조적 이점을 제공하는 업그레이드된 신경망 아키텍처를 개발하기 위해.
• 라그랑주 승수를 사용하여 표준 신경망 학습 목표 함수에 대한 엄밀한 하한을 제공하기 위해.
• 업그레이드된 문제에서의 블록좌표강하 최적화를 통해 효율적이고 병렬화 가능한 학습을 가능하게 하기 위해.
• 업그레이드된 모델이 성능 저하 없이 기존의 전통적 네트워크와 동등하거나 그 이상의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 최적화 구조를 위해 각 활성화 함수를 등가의 이중볼록 제약 조건으로 표현하기 위해.
• 원래의 비볼록 학습 문제의 하한을 도출하기 위해 라그랑주 완화를 적용하기 위해.
• 병렬 처리가 가능한 데이터 포인트와 네트워크 레이어 간에 라이프트된 문제를 최적화하기 위해 블록좌표강하를 사용하기 위해.
• 하위문제의 볼록성을 보장하기 위해 페인치엘 쌍대 문제 기반의 학습 목표 함수를 설정하기 위해.
• 업그레이드 프레임워크를 통해 종단 간 미분 가능성과 표준 네트워크 아키텍처와의 호환성을 유지하기 위해.
• 이중 문제를 반복적으로 해결하여 원래 네트워크의 손실을 둘러싸는 해에 수렴하기 위해.

실험 결과

연구 질문

• RQ1 업그레이드된 신경망 프레임워크는 최적화 구조를 향상시키면서도 표준 네트워크와 동등하거나 그 이상의 성능를 달성할 수 있는가?
• RQ2 라그랑주 완화와 이중볼록 제약 조건의 사용이 원래 학습 목표 함수에 대해 더 날카우며 다루기 쉬운 하한을 제공하는가?
• RQ3 제안된 방법은 데이터 포인트와 레이어 간 병렬 처리가 가능한 블록좌표강하를 통해 효율적으로 최적화될 수 있는가?
• RQ4 Fenchel 업그레이드된 네트워크의 성능는 벤치마크 작업에서 표준 완전히 연결된 신경망 및 컨볼루션 신경망과 비교해 어떻게 되는가?
• RQ5 업그레이드 접근법은 이전의 업그레이드 모델에서 흔히 관찰되는 성능 저하를 제거하는가?

주요 결과

• Fenchel 업그레이드된 네트워크는 벤치마크 작업에서 표준 완전히 연결된 신경망 및 컨볼루션 신경망과 동등하거나 그 이상의 성능를 달성한다.
• 이 방법은 활성화 제약 조건의 라그랑주 완화를 통해 원래의 비볼록 학습 목표 함수에 대한 엄밀한 하한을 제공한다.
• 블록좌표강하는 효율적이고 확장 가능한 최적화를 가능하게 하며, 데이터 포인트와 네트워크 레이어 간 병렬 처리가 가능하다.
• 이 프레임워크는 이전의 업그레이드 모델에서 흔히 관찰되는 성능 저하를 피하며 경쟁력 있는 정확도를 유지한다.
• 이 방법은 구조적 최적화 이점과 높은 모델 용량 및 일반화 능력 사이의 균형을 성공적으로 달성한다.