[논문 리뷰] Recursive Regression with Neural Networks: Approximating the HJI PDE Solution

Vicenç Rúbies Royo, Claire J. Tomlin|arXiv (Cornell University)|2017. 04. 24.

Model Reduction and Neural Networks참고 문헌 12인용 수 11

한 줄 요약

이 논문은 레이블이 없는 데이터 쌍이 존재할 때도, 해밀턴-자비-아이즈어스(Hamilton-Jacobi-Isaacs, HJI) 편미분방정식의 해를 신경망을 이용해 근사하기 위해 재귀적 회귀 프레임워크를 제안한다. 이는 안전이 핵심인 제어 시스템에 필수적인 방정식이며, 데이터 쌍이 부족한 상황에서 해의 구조적 특성을 활용함으로써 성능을 확보한다. 본 방법은 내재된 동역학과 경계 조건을 반영한 회귀 문제로 PDE 해를 설정함으로써 최신 기술 대비 경쟁력 있는 성능을 달성한다.

ABSTRACT

Most machine learning applications using neural networks seek to approximate some function g(x) by minimizing some cost criterion. In the simplest case, if one has access to pairs of the form (x, y) where y = g(x), the problem can be framed as a regression problem. Beyond this family of problems, we find many cases where the unavailability of data pairs makes this approach unfeasible. However, similar to what we find in the reinforcement learning literature, if we have some known properties of the function we are seeking to approximate, there is still hope to frame the problem as a regression problem. In this context, we present an algorithm that approximates the solution to a partial differential equation known as the Hamilton-Jacobi-Isaacs PDE and compare it to current state of the art tools. This PDE, which is found in the fields of control theory and robotics, is of particular importance in safety critical systems where guarantees of performance are a must.

연구 동기 및 목표

• 레이블이 있는 데이터 쌍 (x, y)가 존재하지 않을 때 제어 이론에서 해밀턴-자비-아이즈어스(Hamilton-Jacobi-Isaacs, HJI) PDE를 해결하는 데 도전하는 문제를 해결하기 위해.
• 기존의 지도 학습을 초월해 알려진 시스템 동역학과 경계 조건을 인덕티브 바이어스로 통합함으로써 신경망 회귀를 확장하기 위해.
• 최신 기술 수준의 방법과 비교해 경쟁 가능한 성능을 내는 스케일러블하고 미분 가능한 알고리즘을 개발하기 위해.
• 정확한 PDE 해 근사 덕분에 안전이 핵심인 로봇공학 및 제어 시스템에서 견고한 제어 설계를 가능하게 하기 위해.

제안 방법

• 이 방법은 명시적인 (x, y) 데이터 쌍이 없더라도 신경망을 사용해 HJI PDE 해 근사를 회귀 문제로 설정한다.
• 경계 조건과 시스템 동역학을 포함한 HJI 해의 알려진 구조적 특성을 손실 함수에 통합하여 학습을 이끌어낸다.
• 네트워크가 PDE 잔차와 경계 제약 조건의 오차를 최소화함으로써 점진적으로 근사를 개선하는 재귀적 학습 전략을 사용한다.
• 가용한 경우 지도 학습 항목과 HJI PDE 및 그 경계 조건에서 유도된 물리 기반 항목을 조합한 손실 함수를 사용한다.
• PDE 잔차와 경계 항목을 통해 기울기를 계산하여 백프로파게이션을 통해 종합적으로 학습한다.
• 이 방법은 확장 가능하고 미분 가능하도록 설계되어 있으며, 더 넓은 제어 시스템 파ip라인에 통합 가능하도록 한다.

실험 결과

연구 질문

• RQ1 레이블이 있는 데이터 쌍 (x, y)가 존재하지 않을 때 신경망이 HJI PDE의 해를 효과적으로 근사할 수 있는가?
• RQ2 기존 최신 기술 대비 솔버와 비교해 알려진 시스템 동역학과 경계 조건을 통합한 물리 기반의 회귀 프레임워크는 어떤 성능을 보이는가?
• RQ3 네트워크 근사치를 반복적으로 개선하는 재귀적 전략이 HJI PDE 해의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ4 이 방법은 안전이 핵심인 제어 응용 분야에서 안정성과 성능을 유지하는 데 어떻게 기여하는가?

주요 결과

• 제안된 재귀적 회귀 방법은 테스트 벤치마크에서 최신 기술 수준의 솔버와 비교해 경쟁력 있는 정확도를 달성하며, HJI PDE 해 근사에 성공한다.
• PDE와 경계 조건의 구조적 제약 조건을 통합함으로써 일반화 성능이 크게 향상되며, 특히 데이터가 부족한 상황에서 유의미한 개선 효과가 있다.
• 기존의 종단 간 학습 방식과 비교해 반복적 개선 전략을 통해 수렴성과 해의 정밀도가 향상된다.
• 정확한 PDE 해 근사 덕분에 안전이 핵심인 제어 시나리오에서 뛰어난 안정성과 성능을 입증하였다.