[논문 리뷰] Combining Vision, Machine Learning and Automatic Control to Play the Labyrinth Game

Kristoffer Öfjäll, Michael Felsberg|arXiv (Cornell University)|2016. 02. 01.

Time Series Analysis and Forecasting참고 문헌 4인용 수 4

한 줄 요약

이 논문은 복잡한 물리적 미로 게임을 주행하는 공을 제어하기 위해 PID 제어기와 국소 가중 투영 회귀(LWPR) 학습 제어기를 조합한 하이브리드 제어 시스템을 제시한다. 컴퓨터 비전을 활용한 공 추적과 자기 생성된 경험을 통한 온라인 학습을 통해, 비선형 역학 및 미로 내 위치에 따라 변화하는 특성에 더 잘 대응할 수 있으며, 특히 장애물이 많은 환경을 포함한 복잡한 시나리오에서 LWPR-4가 가장 뛰어난 성능을 보였다.

ABSTRACT

The labyrinth game is a simple yet challenging platform, not only for humans but also for control algorithms and systems. The game is easy to understand but still very hard to master. From a system point of view, the ball behaviour is in general easy to model but close to the obstacles there are severe non-linearities. Additionally, the far from flat surface on which the ball rolls provides for changing dynamics depending on the ball position. The general dynamics of the system can easliy be handled by traditional automatic control methods. Taking the obstacles and uneaven surface into accout would require very detailed models of the system. A simple deterministic control algorithm is combined with a learning control method. The simple control method provides initial training data. As the learning method is trained, the system can learn from the results of its own actions and the performance improves well beyond the performance of the initial controller. A vision system and image analysis is used to estimate the ball position while a combination of a PID controller and a learning controller based on LWPR is used to learn to navigate the ball through the maze.

연구 동기 및 목표

• 복잡한 역학적 특성을 지닌 물리적 미로 게임을 통해 공을 주행시키기 위한 강력한 제어 시스템을 개발하기 위해.
• 기존 제어 기법이 실패하는 장애물 근처나 불균일한 표면에서 발생하는 비선형 행동 문제를 해결하기 위해.
• 결정론적 제어(PID)와 온라인 기계학습(LWPR)을 융합하여 실세계 로봇 작업에서의 적응형 제어의 효과성을 평가하기 위해.
• 세부적인 시스템 모델이 필요 없이 자기 생성 데이터로부터 학습하는 것이 초기 제어기의 성능을 뛰어넘을 수 있음을 보여주기 위해.
• 계속 증가하는 복잡성의 다양한 시나리오, 특히 시스템 행동의 동적 변화를 포함하여 접근 방식의 타당성을 검증하기 위해.

제안 방법

• 영상 분석을 통해 실시간으로 공의 위치를 추적하는 시각 시스템을 구현한다.
• 이중 축 PID 제어기가 초도 제어를 제공하고 학습 시스템의 학습 데이터를 생성한다.
• LWPR 알고리즘이 현재 상태와 목표 상태를 입력으로 받아 필요한 제어 신호를 출력함으로써 시스템의 역역학을 학습한다.
• LWPR-2와 LWPR-4 버전은 입력 차원 수에서 차이를 보인다: LWPR-2는 속도와 목표 속도를 사용하지만, LWPR-4는 절대 위치를 추가하여 공간적으로 변화하는 역학을 더 잘 다룰 수 있도록 한다.
• 학습 모델이 특정 영역에서 충분한 데이터를 확보하지 못할 경우, 안정성을 확보하기 위해 시스템은 PID 제어기로 전환된다.
• 학습 데이터는 시스템 자체의 행동에서 온라인으로 생성되어, 자기지도 학습을 통한 지속적인 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 간단한 PID 제어기와 학습 제어기를 조합한 하이브리드 제어 시스템이 복잡한 물리적 미로 주행에서 PID 제어기만을 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ2 입력 공간에 절대 위치를 포함시키는 것이 학습 제어기가 미로 내 위치에 따라 변화하는 역학을 다룰 수 있는 능력에 어떤 영향을 미치는가?
• RQ3 학습 제어기가 제어 신호의 반전 또는 오프셋이 발생하는 다양한 미로 영역에서 시스템 행동의 급격한 변화에 얼마나 잘 적응할 수 있는가?
• RQ4 학습 제어기가 미로 가장자리나 장애물 근처의 심한 비선형성에도 충분히 일반화할 수 있는가?
• RQ5 시스템의 자체 행동에서 유도된 온라인 자기학습이 초도 제어기의 능력을 뛰어넘는 성능 향상으로 이어지는가?

주요 결과

• 시나리오 1(sine 경로)에서 LWPR-2 제어기는 평균 RMSE 3.5(±0.5)를 기록하여 PID의 6.0(±0.8)보다 유의미하게 낮은 추적 성능을 보였다.
• 시나리오 2a(하단 반원에서 일정한 오프셋)에서 LWPR-4 제어기는 평균 RMSE 6.5(±1.6)를 기록하여 PID(15.5±1.6)와 LWPR-2(11.5±1.8)를 모두 앞서며 동적 변화에 대한 적응 능력 향상을 입증했다.
• 시나리오 2b(하단 반원에서 제어 신호 반전)에서 오직 LWPR-4 제어기만 성공했으며, 평균 RMSE 5.6(±1.1)를 기록했다. 반면 PID와 LWPR-2는 실패(DNF)했다. 이는 공간적 상태 인식의 중요성을 강조한다.
• 시나리오 3(장애물이 있는 실제 미로 경로)에서 오직 LWPR-4 제어기만 안정적인 제어를 유지했으며, 평균 RMSE 3.8(±0.6)를 기록했다. 반면 PID와 LWPR-2는 점점 악화되는 진동을 보였다.
• 자기 생성 데이터로부터의 온라인 학습 덕분에 시스템 성능이 시간이 지남에 따라 향상되었으며, 초기에 훈련되지 않은 LWPR-4 제어기조차도 결국 초도 PID 제어기를 능가하는 성능을 보였다.
• 입력 공간에 절대 위치를 추가함(LWPR-4)하는 것이 공간적으로 변화하는 역학을 다루는 데 핵심적인 역할을 했으며, 이는 복잡한 환경에서 더 풍부한 상태 표현이 필수적임을 확인시켰다.