[논문 리뷰] An optimal transport approach to data compression in distributionally robust control.

Filippo Fabiani, Paul J. Goulart|arXiv (Cornell University)|2020. 05. 19.

Markov Chains and Monte Carlo Methods인용 수 2

한 줄 요약

이 논문은 분포로 부터의 강건성 제어를 위한 대규모 입력-출력 행동 데이터셋을 압축하기 위해 최적 운반 이론 기반의 방법을 제안하며, 통계적 정밀도를 유지하기 위해 워샤르슈타인 거리 최소화를 수행한다. 압축된 데이터셋은 더 큰 오차 집합에서도 원래 데이터셋과 동일한 강건한 성능 보장을 갖는 온라인 컨트롤러를 가능하게 하며, 수치 시뮬레이션을 통해 검증된다.

ABSTRACT

We consider the problem of controlling a stochastic linear time-invariant system using a behavioural approach based on the direct optimization of controllers over input-output pairs drawn from a large dataset. In order to improve the computational efficiency of controllers implemented online, we propose a method for compressing this large data set to a smaller synthetic set of representative behaviours using techniques based on optimal transport. Specifically, we choose our synthetic data by minimizing the Wasserstein distance between atomic distributions supported on both the original data set and our synthetic one. We show that a distributionally robust optimal control computed using our synthetic dataset enjoys the same performance guarantees onto an arbitrarily larger ambiguity set relative to the original one. Finally, we illustrate the robustness and control performances over the original and compressed datasets through numerical simulations.

연구 동기 및 목표

• 스토하스틱 선형 시간 불변 시스템에서 온라인 컨트롤러 구현을 위한 대규모 데이터셋 사용의 계산 비효율성 문제를 해결한다.
• 원래 데이터셋의 통계적 및 강건성 성질을 유지하는 데이터 압축 기법을 개발한다.
• 데이터 압축 이후에도 분포로 부터의 강건성에 기반한 제어 성능 보장을 유지함을 보장한다.
• 원래 데이터셋에서 유도된 작은 대체 데이터셋을 활용하여 효율적인 온라인 제어를 가능하게 한다.
• 압축된 데이터셋이 원래 데이터셋보다 훨씬 큰 오차 집합에서도 동일한 수준의 강건성을 유지함을 입증한다.

제안 방법

• 원래 데이터와 대체 데이터의 경험적 분포 간 워샤르슈타인 거리를 최소화함으로써 최적 운반 이론을 활용해 대체 데이터셋을 구성한다.
• 원래 데이터셋을 원자 측도로 표현하고, 동일한 지지 크기를 갖는 더 작은 대체 원자 측도를 구성한다.
• 원래 데이터 포인트를 대체 대표값에 최적의 할당을 찾기 위해 반-연속 최적 운반 문제로 데이터 압축을 공식화한다.
• 결과로 얻은 대체 데이터셋을 활용해 입력-출력 쌍에 대한 직접 최적화를 통해 분포로 부터의 강건 컨트롤러를 계산한다.
• 컨트롤러의 성능이 원래 데이터의 지지 집합보다 더 큰 오차 집합 내의 분포 이동에 대해 강건함을 보장한다.
• 워샤르슈타인 거리의 안정성 특성을 활용하여, 압축 이후에도 강건성과 성능이 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 대규모 입력-출력 행동 데이터셋을 통계적 정밀도를 유지하면서도 강건 제어 성능에 손상 없이 더 작은 대체 데이터셋으로 효과적으로 압축할 수 있는가?
• RQ2 워샤르슈타인 거리 최소화를 통한 최적 운반 기법이 분포로 부터의 강건 제어에 필요한 통계적 정밀도를 유지하는가?
• RQ3 압축된 데이터셋으로 훈련된 컨트롤러가 원래 데이터보다 훨씬 큰 오차 집합에서도 동일한 성능 보장을 유지할 수 있는가?
• RQ4 데이터 압축을 통해 온라인 제어의 계산 효율성이 어떻게 향상되며, 동시에 강건성은 유지되는가?
• RQ5 대체 데이터셋의 크기와 최종 제어 성능 및 강건성 간의 관계는 어떠한가?

주요 결과

• 제안된 데이터 압축 방법은 컨트롤러의 분포로 부터의 강건성을 유지하며, 원래 데이터의 지지 집합보다 더 큰 오차 집합에서도 성능 보장이 유지됨을 보장한다.
• 원래 데이터와 대체 데이터의 분포 간 워샤르슈타인 거리 최소화는 대체 데이터셋이 원래 데이터의 통계적 대표성을 갖춘다는 것을 보장한다.
• 수치 시뮬레이션을 통해 압축된 데이터셋으로 훈련된 컨트롤러가 원 데이터셋으로 훈련된 컨트롤러와 유사한 강건성과 제어 성능을 달성함을 확인하였다.
• 이 방법은 동일한 수준의 분포로 부터의 강건성을 유지하면서도 데이터셋 크기를 크게 줄여주며, 온라인 구현의 계산 효율성을 향상시킨다.
• 이론적 분석을 통해 대체 데이터셋에서 계산된 분포로 부터의 강건 최적 제어가 원래 데이터셋과 동일한 성능 경계를 상속함을 확인하였다.
• 이 방법은 확장 가능하고 일반화 가능하며, 워샤르슈타인 거리 최소화가 보장된다면 원래 데이터셋 크기와 무관하게 강건성 보장이 유지됨을 보여준다.