[논문 리뷰] Schedule Earth Observation satellites with Deep Reinforcement Learning

Adrien Hadj-Salah, Rémi Verdier외 3명|arXiv (Cornell University)|2019. 11. 12.

Optimization and Search Problems참고 문헌 11인용 수 10

한 줄 요약

이 논문은 대규모 지역 요청을 위한 지구 관측 위성 수집을 위한 강화학습 기반 접근법을 제안한다. A2C를 사용하여 기상 변화 불확실성 하에서 구름 없는 영상 확보를 최적화함으로써 인간이 설계한 히ュ리스틱보다 우수한 성능을 내며, 장기 전략을 학습함으로써 임무 완료 시간을 최대 10% 감소시킨다.

ABSTRACT

Optical Earth observation satellites acquire images worldwide , covering up to several million square kilometers every day. The complexity of scheduling acquisitions for such systems increases exponentially when considering the interoperabil-ity of several satellite constellations together with the uncertainties from weather forecasts. In order to deliver valid images to customers as fast as possible, it is crucial to acquire cloud-free images. Depending on weather forecasts, up to 50% of images acquired by operational satellites can be trashed due to excessive cloud covers, showing there is room for improvement. We propose an acquisition scheduling approach based on Deep Reinforcement Learning and experiment on a simplified environment. We find that it challenges classical methods relying on human-expert heuristic.

연구 동기 및 목표

• 국가 또는 대륙과 같은 넓은 지역에 걸쳐 구름 없는 지구 관측 위성 수집을 스케줄링하는 데 도전하는 것.
• 기상 변화 불확실성 하에서 비최적의 인간 전문가 히ュ리스틱에 의존하는 것을 최소화하여 임무 완료 시간을 단축하는 것.
• 딥 강화학습이 고전적인 히ュ리스틱 방법보다 뛰어난 성능을 내는 강건한 장기 스케줄링 정책을 학습할 수 있는지 평가하는 것.
• 기상 예측 불확실성이 존재하는 동적이고 불확실한 환경에서 위성 기수 스케줄링에 DRL을 적용할 수 있는지의 타당성을 입증하는 것.
• 실제 기상 데이터를 사용한 시뮬레이션을 통해 무작위 및 히ュ리스틱 기반 기준과의 비교를 통해 접근법을 검증하는 것.

제안 방법

• 에이전트가 각 위성 통과 시 어떤 메시지(메시지: 메시지)를 수집할지를 선택하는 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 주어진 영역(프랑스 본토, 122개 메시지)을 커버하는 4대의 동일한 위성(각각 60km 스위프트)을 사용한 단순화된 시뮬레이션 환경을 구축한다.
• 관측 공간에는 단기(1패스) 및 장기(20패스) 기상 예측과 실제 관측 자료가 포함되며, 예측 오차를 모델링하기 위해 선형 함수를 사용한다.
• 딥 강화학습 에이전트는 공간 격자 관측 자료를 처리하고 행동 확률을 출력하기 위해 컨볼루션 신경망 아키텍처를 사용한 Advantage Actor-Critic(A2C) 알고리즘을 사용한다.
• 보상 함수는 장기적인 임무 지속 시간을 방지하고, 낮은 구름 커버를 가진 메시지의 수집을 장려함으로써 총 완료 시간을 최소화하도록 설계된다.
• 학습은 2013–2014년 기상 데이터를, 테스트는 2015년 데이터를 사용하여 일반화 능력을 평가하기 위해 훈련-테스트 분할을 실시한다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 히ュ리스틱 방법보다 대규모 지구 관측 요청의 완료 시간을 단축시키는 스케줄링 정책을 학습할 수 있는가?
• RQ2 관측 공간에 장기 기상 예측을 통합하면 스케줄링 성능이 향상되는가?
• RQ3 역사적 데이터로 훈련된 DRL 에이전트가 새로운 기상 조건에 대해 얼마나 잘 일반화되는가?
• RQ4 DRL 에이전트가 임무 완료 시간 측면에서 무작위 선택 및 전문가가 설계한 히ュ리스틱보다 뛰어난 성능을 보일 수 있는가?
• RQ5 관측 수평(1패스 대비 20패스)이 DRL 에이전트 성능에 어떤 영향을 미치는가?

주요 결과

• 20패스 장기 관측 수평을 사용한 A2C-20 에이전트는 평균 에피소드 길이 278.5를 기록하여 히ュ리스틱 에이전트의 평균 292.7보다 유의미하게 뛰어나다.
• A2C-20 에이전트는 테스트 케이스의 약 80%에서 히ュ리스틱보다 빠른 임무 완료를 달성하여 더 뛰어난 일반화 능력과 전략 학습 능력을 입증한다.
• A2C-1 에이전트(1패스 관측)는 히ュ리스틱와 유사한 성능을 보이며 평균 에피소드 길이 299.3을 기록하여 단기 계획만으로는 최적 성능을 달성하기에 부족함을 보여준다.
• 모든 DRL 에이전트는 2015년의 새로운 기상 데이터에 대해 잘 일반화되었으며, 표준편차가 낮게(55.8–58.2) 유지되어 기상 변동성에 강건함을 입증한다.
• 결과적으로 장기 전략적 계획, 특히 예측된 구름 커버를 기반으로 한 전략적 계획이 대규모 지구 관측 스케줄링에서 임무 지속 시간을 최소화하는 데 필수적임을 확인한다.
• 본 연구는 DRL이 복잡하고 불확실한 스케줄링 과제에서 인간이 설계한 히ュ리스틱을 초월할 수 있음을 입증하며, 산업적 적용 가능성을 제시한다.