[논문 리뷰] Motion Style Transfer: Modular Low-Rank Adaptation for Deep Motion Forecasting

Parth Kothari, Danya Li외 2명|arXiv (Cornell University)|2022. 11. 06.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 MoSA(Motion Style Transfer via Modular Low-Rank Adaptation)를 제안한다. MoSA는 미리 훈련된 운동 예측 모델을 최소한의 데이터로 새로운 에이전트 유형이나 환경에 효율적으로 적응시킬 수 있는 파라미터 효율적인 전이 학습 방법이다. 고정된 인코더 레이어에 저질서 어댑터를 삽입하고, 환경 및 운동 특징을 분리하는 모듈러 전략을 사용함으로써, MoSA는 일반화 오차를 최대 25%까지 감소시키며, 10~30개의 타겟 샘플만으로도 표준 미세조정보다 20% 우수한 성능을 보였다. Level 5 데이터셋에서의 성능을 확인하였다.

ABSTRACT

Deep motion forecasting models have achieved great success when trained on a massive amount of data. Yet, they often perform poorly when training data is limited. To address this challenge, we propose a transfer learning approach for efficiently adapting pre-trained forecasting models to new domains, such as unseen agent types and scene contexts. Unlike the conventional fine-tuning approach that updates the whole encoder, our main idea is to reduce the amount of tunable parameters that can precisely account for the target domain-specific motion style. To this end, we introduce two components that exploit our prior knowledge of motion style shifts: (i) a low-rank motion style adapter that projects and adjusts the style features at a low-dimensional bottleneck; and (ii) a modular adapter strategy that disentangles the features of scene context and motion history to facilitate a fine-grained choice of adaptation layers. Through extensive experimentation, we show that our proposed adapter design, coined MoSA, outperforms prior methods on several forecasting benchmarks.

연구 동기 및 목표

• 낮은 데이터 또는 분포 외 설정에서 딥 운동 예측 모델의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 새로운 에이전트 유형과 환경 맥락에서 성능을 유지하면서도 적응 과정에서 조정 가능한 파라미터 수를 줄이기 위해.
• 이동 행동의 차이(운동 스타일의 이질성)를 불변 운동 역학과 별도로 모델링하기 위해.
• 전체 네트워크의 미세조정이 아닌 스타일 전용 특징에만 집중함으로써 효율적인 전이 학습을 가능하게 하기 위해.
• 환경 맥락과 운동 이력 특징의 모듈러하고 분리된 적응을 통해 전이 학습의 샘플 효율성을 향상시키기 위해.

제안 방법

• MoSA는 두 개의 학습 가능한 행렬(A와 B)을 포함하는 저질서 어댑터 모듈을 도입하여, 고정된 인코더 레이어에 스타일 전용 업데이트를 삽입한다.
• MoSA를 주의 메커니즘의 병렬 모듈로 적용하여, 자기 주의 레이어의 쿼리 및 밸류 행렬에 저질서 업데이트를 통해 스타일 조정을 삽입한다.
• 환경 맥락과 운동 이력 인코더를 분리하는 모듈러 적응 전략을 적용하여, 한 줄기의 특징만 선택적으로 적응시킬 수 있도록 한다.
• 행렬 A는 무작위로 초기화하고, B는 0으로 초기화하는 파라미터 초기화 전략을 사용하여, 원래 모델의 동작 방식이 시작 시 그대로 유지되도록 보장한다.
• 수렴성과 일반화 성능 향상을 위해 적응 과정에서 조기 정지와 일주기 학습률 스케줄링을 적용한다.
• 에이전트 전이에서는 MoSA의 저질서 랭크를 3으로, 환경 전이에서는 8로 설정하며, 각 방법에 맞게 학습률를 조정한다 (예: MoSA의 경우 3e-3).

실험 결과

연구 질문

• RQ1 최소한의 데이터로 다양한 에이전트 유형 간에 운동 예측 모델을 전이할 수 있는 파라미터 효율적인 어댑터를 설계할 수 있는가?
• RQ2 분포 이질성 하에서 저질서 적응은 전체 미세조정에 비해 성능과 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ3 환경 맥락과 운동 이력 특징을 분리하면 운동 예측의 전이 학습 효과성이 향상되는가?
• RQ4 MoSA는 보행자에서 자전거로, 환경 간, 도시 지역 간 전이와 같은 다양한 시나리오에 일반화되는가?
• RQ5 어댑터의 위치(예: 주의 레이어 vs. 피드포워드 레이어)가 적응 성능에 어떤 영향을 미치는가?

주요 결과

• MoSA는 각 레이어당 조정 가능한 파라미터 수를 2% 미만으로 줄이며, SDD 및 inD 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• SDD 및 inD 데이터셋에서, MoSA는 타겟 궤적 10~30개만으로도 일반화 오차를 25% 감소시켰다.
• Level 5 데이터셋에서 MoSA는 단 한 번의 unseen 환경 탐색만으로도 표준 미세조정보다 20% 뛰어난 성능을 보였다.
• MoSA를 주의 레이어(쿼리 및 밸류 행렬)에 적용할 경우 피드포워드 레이어에 적용하는 것보다 더 우수한 성능을 기록하였다.
• 모듈러 적응 전략은 에이전트 유형 간 전이 시 운동 이력 인코더만 선택적으로 적응시킴으로써, 낮은 데이터 환경에서 뚜렷한 성능 향상을 이끌어냈다.
• 초기화 전략(A는 무작위, B는 0)은 MoSA가 학습 시작 시 원래 모델의 동작을 변경하지 않도록 보장하여 안정적인 적응을 가능하게 하였다.