[논문 리뷰] Neural Optimization Machine: A Neural Network Approach for Optimization

Jie Chen, Yongming Liu|arXiv (Cornell University)|2022. 08. 08.

Industrial Vision Systems and Defect Detection인용 수 7

한 줄 요약

이 논문은 제약 조건이 있는 최적화 문제를 훈련 가능한 신경망으로 공식화하는 새로운 신경망 아키텍처인 신경 최적화 기계(NOM)를 소개한다. 목적 함수와 제약 조건 함수를 맞춤형 신경망 아키텍처에 통합하고, 특화된 활성화 함수와 손실 함수를 사용함으로써 NOM은 역전파를 활용해 최적화 문제를 효율적으로 해결한다. 이는 고차원 변수로의 확장성과 단일 및 다중 목적 문제에 대한 적용 가능성을 입증하며, 실제 산업 응용 분야인 적층 제조 공정 매개변수 설계에도 적용 가능하다.

ABSTRACT

A novel neural network (NN) approach is proposed for constrained optimization. The proposed method uses a specially designed NN architecture and training/optimization procedure called Neural Optimization Machine (NOM). The objective functions for the NOM are approximated with NN models. The optimization process is conducted by the neural network's built-in backpropagation algorithm. The NOM solves optimization problems by extending the architecture of the NN objective function model. This is achieved by appropriately designing the NOM's structure, activation function, and loss function. The NN objective function can have arbitrary architectures and activation functions. The application of the NOM is not limited to specific optimization problems, e.g., linear and quadratic programming. It is shown that the increase of dimension of design variables does not increase the computational cost significantly. Then, the NOM is extended for multiobjective optimization. Finally, the NOM is tested using numerical optimization problems and applied for the optimal design of processing parameters in additive manufacturing.

연구 동기 및 목표

• 기존의 수학적 프로그래밍 방법에 의존하지 않고도 제약 조건이 있는 최적화 문제를 해결할 수 있는 신경망 기반 프레임워크를 개발하는 것.
• 기존 최적화 기법이 고차원 설계 변수와 복잡한 제약 조건을 다루는 데에 한계를 보이는 문제를 해결하는 것.
• 최적화 과정을 미분 가능한 계산 그래프로 간주하고, 신경망 역전파를 통해 최적화 문제를 엔드 투 엔드로 훈련할 수 있도록 하는 것.
• 계산 효율성을 유지하면서도 다중 목적 최적화 문제로 프레임워크를 확장하는 것.
• 기본 수치 문제와 실제 공학 응용 분야, 예를 들어 적층 제조 공정 매개변수 최적화와 같은 실제 응용 사례에서 접근 방식을 검증하는 것.

제안 방법

• NOM 프레임워크는 목적 함수와 제약 조건 함수를 임의의 아키텍처와 활성화 함수를 가진 미분 가능한 신경망으로 모델링하는 신경망 아키텍처를 구성한다.
• 최적화 과정은 네트워크의 순방향 및 역방향 전파 내부에 통합되며, 제약 위반에 대한 페널티를 부여하고 최적 해로 수렴하도록 유도하는 손실 함수를 최소화하는 데 역전파를 활용한다.
• 손실 함수는 목적 함수와 부등식/등식 제약 조건을 모두 포함하도록 특별히 설계되어 있어, 동시에 최적화와 제약 조건 충족을 가능하게 한다.
• 최적화의 기하학적 구조가 실제 문제의 기하학과 일치하도록 보장하기 위해 보조 레이어를 추가하고 활성화 함수를 수정함으로써 네트워크 구조를 확장한다.
• 임의의 목적 함수 형태를 지원하며, 정규형(예: 이차형 또는 선형 프로그래밍 형태)으로 재정의가 필요하지 않다.
• 프레임워크는 표준 확률적 경사 하강법(SGD) 또는 그 변종을 사용하여 훈련되며, 기계적 미분을 통해 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 역전파를 사용하여 기존 최적화 솔버에 의존하지 않고 제약 조건이 있는 최적화 문제를 엔드 투 엔드로 훈련할 수 있는 신경망을 설계할 수 있는가?
• RQ2 설계 변수의 차원이 증가함에 따라 NOM의 계산 비용은 어떻게 변화하는가?
• RQ3 NOM은 다양한 유형의 제약 조건을 가진 단일 및 다중 목적 최적화 문제를 효과적으로 다룰 수 있는가?
• RQ4 비볼록성 및 비선형 문제를 포함한 다양한 최적화 문제 유형에 대해 NOM이 얼마나 일반화될 수 있는가?
• RQ5 적층 제조와 같은 실제 공학 응용 분야에서, 예를 들어 최적 공정 매개변수 설계에서 NOM의 성능은 어떠한가?

주요 결과

• NOM은 문제에 특화된 재정의 없이도 선형 및 이차 프로그래밍을 포함한 다양한 제약 조건이 있는 최적화 문제를 성공적으로 해결한다.
• NOM의 계산 비용은 고차원 설계 변수로 갈수록 거의 증가하지 않으며, 확장성과 함께 입증된다.
• 기본 최적화 문제에서 높은 정확도를 달성하여, 솔루션이 알려진 최적값과 매우 유사하게 수렴한다.
• 다중 목적 최적화 문제에 대해서는 복수의 목적을 균형 잡는 스칼라화된 손실 함수를 구성함으로써 효과적으로 작동한다.
• 적층 제조 응용 분야에서는 수치 실험을 통해 부품 품질을 향상시키는 최적의 공정 매개변수를 효과적으로 도출한다.
• 신경망 아키텍처의 유연성 덕분에 비볼록성 및 비선형 문제를 포함한 다양한 문제 유형에 대해 강건성을 유지한다.