[논문 리뷰] Reinforcement Learning-based Virtual Fixtures for Teleoperation of Hydraulic Construction Machine

Hyung Joo Lee, Sigrid Brell‐Çokcan|arXiv (Cornell University)|2023. 06. 20.

BIM and Construction Integration인용 수 4

한 줄 요약

이 논문은 데이터 기반 시뮬레이션에서 학습된 최적의 관절 조율 정책을 통해 유압 건설 기계의 원격 조작을 향상시키기 위해 강화학습(RL) 기반의 가상 프레임워크를 제안한다. 이 프레임워크는 학습된 가상 프레임워크를 통해 조작기 입력을 안내함으로써 운영자 정신적 부담을 줄이고 작업 효율성을 높이며, 우회로에 칼날을 삽입하는 과정에서 더 적은 노력을 기울이고 더 부드러운 종단 기구 경로를 확보한 사용자 연구를 통해 이를 입증하였다.

ABSTRACT

The utilization of teleoperation is a crucial aspect of the construction industry, as it enables operators to control machines safely from a distance. However, remote operation of these machines at a joint level using individual joysticks necessitates extensive training for operators to achieve proficiency due to their multiple degrees of freedom. Additionally, verifying the machine resulting motion is only possible after execution, making optimal control challenging. In addressing this issue, this study proposes a reinforcement learning-based approach to optimize task performance. The control policy acquired through learning is used to provide instructions on efficiently controlling and coordinating multiple joints. To evaluate the effectiveness of the proposed framework, a user study is conducted with a Brokk 170 construction machine by assessing its performance in a typical construction task involving inserting a chisel into a borehole. The effectiveness of the proposed framework is evaluated by comparing the performance of participants in the presence and absence of virtual fixtures. This study results demonstrate the proposed framework potential in enhancing the teleoperation process in the construction industry.

연구 동기 및 목표

• 개별 조작기로 다자유도 건설 기계를 원격 조작할 때 발생하는 높은 인지적 및 운동적 요구를 해결하기 위해.
• 실시간 피드백이 제한된 비정형 건설 환경에서 운영자 실수를 줄이고 작업 효율성을 향상시키기 위해.
• 세부 분석 모델이 필요 없이 기계 특화 비선형 역학을 포괄하는 데이터 기반, 시뮬레이션 기반 RL 프레임워크를 개발하기 위해.
• 훈련된 RL 정책에서 유도된 가상 프레임워크의 효과성을 실제 원격 조작 작업에서 평가하기 위해.
• 훈련 환경에 데이터 기반 액추에이터 모델을 통합하여 시뮬레이션에서 현실로의 격차를 최소화하기 위해.

제안 방법

• 실제 기계 운용 데이터를 사용하여 데이터 기반 액추에이터 모델을 훈련시켜 시뮬레이션에서 비선형 유압 역학을 정확하게 시뮬레이션한다.
• 128개의 에이전트를 병렬로 운영하는 시뮬레이션 환경에서 딥 강화학습 에이전트를 훈련시켜 맷집 삽입 작업을 학습한다.
• 훈련된 RL 정책은 최적의 관절 궤적을 생성하며, 이를 기반으로 인간 운영자를 안내하는 가상 프레임워크를 정의한다.
• 가상 프레임워크는 최적의 조작기 이동과 관절 조율 패턴을 제안하는 시각적 및 운동적 제약 조건으로 구현된다.
• 데이터 기반 액추에이터 모델을 통합한 동적 시뮬레이터를 사용하여 훈련 및 평가 중에 현실적인 운동을 보장한다.
• 사용자 연구를 통해 브로크 170 기계를 사용하여 가상 프레임워크 유무에 따라 원격 조작 성능을 비교한다.

실험 결과

연구 질문

• RQ1 데이터 기반 RL 프레임워크는 시뮬레이션에서 현실로의 격차를 최소화하면서 다자유도 유압 건설 기계의 원격 조작을 위한 효율적인 관절 조율 정책을 학습할 수 있는가?
• RQ2 훈련된 RL 정책에서 도출된 가상 프레임워크는 복잡한 원격 조작 작업 중 운영자 성능 향상에 얼마나 효과적인가?
• RQ3 가상 프레임워크는 다관절 건설 기계의 원격 조작에서 정신적 부담과 신체적 노력을 어느 정도 줄이는가?
• RQ4 가상 프레임워크는 다수의 관절을 동시에 사용하도록 운영자를 안내하여 더 부드럽고 효율적인 종단 기구 경로를 이끌 수 있는가?
• RQ5 실제 기계 데이터를 RL 훈련 과정에 통합함으로써 정책의 일반화 능력과 작업 성능은 어떻게 향상되는가?

주요 결과

• 가상 프레임워크를 사용한 참가자들은 항공우주의학협회-업무부하척도(NASA-TLX) 설문 결과를 통해 정신적 부담과 주관적 노력이 유의미하게 감소한 것으로 확인되었다.
• 가상 프레임워크 사용 시 운영자가 다수의 관절을 순차적으로가 아니라 동시에 제어하는 경향을 보였으며, 더 조율된 관절 제어가 이루어졌다.
• 가상 프레임워크가 적용된 종단 기구 경로는 더 부드럽고 더 적은 이동 수를 요구하여 우회로에 더 빠르고 정확하게 삽입되었다.
• 가상 프레임워크는 운영자가 우회로와 최적의 거리를 유지하도록 안내하여 수정 동작의 횟수를 줄였다.
• 데이터 기반 액추에이터 모델은 시뮬레이션에서 현실로의 격차를 효과적으로 줄였으며, 이로 인해 훈련된 정책이 실제 원격 조작에 잘 일반화되었다.
• 이 프레임워크는 동적인 비정형 환경에서 복잡한 유압 건설 기계의 안전하고 효율적인 원격 조작을 성공적으로 구현하였다.