[논문 리뷰] Linear regression over the max-plus semiring: algorithms and applications

James Hook|arXiv (Cornell University)|2017. 12. 10.

Control Systems and Identification참고 문헌 14인용 수 3

한 줄 요약

이 논문은 고전적 최적화 기법을 사용하여 max-plus $2$-노름 회귀를 위한 새로운 프레임워크를 제안하며, 세 가지 역문제에 대한 최대우도 추정을 가능하게 한다: 노이즈가 있는 시계열 자료로부터 max-plus 선형 동적 시스템을 식별하고, 최단경로 데이터로부터 네트워크 간선 길이를 추론하며, 데이터에 max-plus 다항함수를 fitting하는 것이다. $2$-노름 잔차의 비볼록성과 비미분 가능성에도 불구하고, 과소조정을 적용한 수정된 뉴턴 방법이 실용적으로 고품질의 해로 수렴한다.

ABSTRACT

In this paper we present theory, algorithms and applications for regression over the max- plus semiring. We show how max-plus 2-norm regression can be used to obtain maximum likelihood estimates for three different inverse problems. Namely inferring a max-plus linear dynamical systems model from a noisy time series recording, inferring the edge lengths of a network from shortest path information and fitting a max-plus polynomial function to data.

연구 동기 및 목표

• 비볼록성과 비미분 가능성으로 인해 잘 이해된 $\infty$-노름의 경우와는 달리, max-plus $2$-노름 회귀에 대해 이론적으로 타당하고 계산적으로 실현 가능한 접근법을 개발하는 것.
• max-plus $2$-노름 회귀를 세 가지 역문제에 적용하는 것: max-plus 선형 동적 시스템에서의 시스템 식별, 최단경로 기반 네트워크 간선 길이 추론, max-plus 다항식 피팅.
• max-plus 행렬-벡터 곱을 고전적 선형대수학의 관점에서 재구성함으로써 max-plus 대수학과 고전적 최적화를 연결하는 것.
• 전역 수렴 보장이 없는 히우리스틱 최적화 방법이 실용적인 역문제 설정에서 고품질의 해를 도출할 수 있음을 보여주는 것.
• 특히 局부 최적성 검증이 NP-난해함을 포함한, max-plus 설정에서의 $2$-노름 회귀의 이론적 및 알고리즘적 과제를 탐색하고 향후 연구 방향을 제안하는 것.

제안 방법

• 고전적 선형대수학에서의 조각별 선형이면서 비미분적인 사상으로 max-plus 행렬-벡터 곱 $A \otimes \bm{x}$를 재구성함으로써 표준 최적화 기법의 적용을 가능하게 한다.
• 비볼록성과 비미분성의 $2$-노름 잔차 $\|A \otimes \bm{x} - \bm{y}\|_2$ 를 최소화하기 위해 최강하강법과 과소조정을 적용한 뉴턴 방법을 적용한다.
• 변수를 바꾸는 방식을 통해 max-plus 다항식 피팅 문제를 선형 회귀 문제로 변환함으로써, $2$-노름 회귀를 이용한 최대우도 추정이 가능해진다.
• 최단경로 네트워크를 모델링하기 위해 min-plus 대수학을 사용하고, 관측된 최단경로 시간으로부터 간선 길이를 추론하며, 문제를 min-plus 선형 시스템으로 재구성한다.
• min-plus 네트워크에서 저랭크 근사와 모델 순서 감소 기법을 활용하여 구조적 통찰을 도출하며, 예를 들어 사회 네트워크의 이웃 패턴을 분석한다.
• max-plus와 min-plus 대수학 간의 이중성을 활용하여 프레임워크를 다양한 역문제, 특히 네트워크 추론과 시스템 식별로 일반화한다.

실험 결과

연구 질문

• RQ1 비볼록성과 비미분성으로 인해 효과적으로 해결하기 어려운 max-plus 반경에서의 $2$-노름 회귀는 실제로 해결 가능한가?
• RQ2 노이즈가 있는 시계열 자료로부터 max-plus 선형 동적 시스템의 매개변수를 추정하기 위해 max-plus $2$-노름 회귀를 어떻게 적용할 수 있는가?
• RQ3 최단경로 측정치로부터 네트워크의 간선 길이를 추론하는 문제는 max-plus 또는 min-plus 회귀 문제로 재구성할 수 있는가?
• RQ4 max-plus 다항식 회귀는 데이터 피팅에 얼마나 효과적으로 사용될 수 있으며, 정확성과 해석 가능성 측면에서 고전적 다항식 피팅과 비교해 볼 때 어떤가?
• RQ5 max-plus $2$-노름 회귀에서 수렴성 또는 최적성 보장의 알고리즘적 및 이론적 과제는 무엇이며, 실무에서는 어떻게 완화할 수 있는가?

주요 결과

• max-plus $2$-노름 회귀 문제의 비볼록성과 비미분성으로 인해 국소 최소점인지 확인하는 것은 NP-난해 문제이다.
• 전역 수렴 보장이 없더라도, 과소조정을 적용한 수정된 뉴턴 방법이 실용적으로 고품질의 근사해로 수렴하는 데 성공한다.
• max-plus 선형 동적 시스템 식별의 경우, 노이즈가 있는 시계열 자료로부터 최대우도 추정치를 도출하며, 예제 3.2에서 잔차가 $1.8247$이고 예제 5.3에서 $1.7041$이다.
• 다항식 피팅의 경우, 차수 4의 max-plus 다항식에서 잔차가 $1.7041$로 나타나 효과적인 데이터 근사가 이루어짐을 보여준다.
• min-plus 네트워크 추론 프레임워크는 최단경로 데이터로부터 간선 길이를 성공적으로 복원하였으며, 모델 순서 감소 기법을 통해 실제 사회 네트워크에서의 구조적 패턴을 드러냈다.
• 이론적 결과, 예를 들어 정리 6.2는 국소 최적성 검증의 본질적 어려움을 강조하지만, 구조가 잘 잡힌 문제에서는 여전히 효율적인 최적화가 가능할 수 있음을 시사한다.