[논문 리뷰] Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time

Anshul Nasery, Soumyadeep Thakur외 3명|arXiv (Cornell University)|2021. 08. 15.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 순차 모델에서 시간에 따른 일반화를 향상시키기 위해 단순한 기울기 보간 손실을 제안한다. 이는 연속된 시간 단계 간의 특징 전이를 부드럽게 유도함으로써 성능을 향상시킨다. 아키텍처 변경 없이도 장기 예측 작업에서 모델의 강건성과 성능을 향상시키며, 영상 예측 및 동작 인식을 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In several real world applications, machine learning models are deployed to make predictions on data whose distribution changes gradually along time, leading to a drift between the train and test distributions. Such models are often re-trained on new data periodically, and they hence need to generalize to data not too far into the future. In this context, there is much prior work on enhancing temporal generalization, e.g. continuous transportation of past data, kernel smoothed time-sensitive parameters and more recently, adversarial learning of time-invariant features. However, these methods share several limitations, e.g, poor scalability, training instability, and dependence on unlabeled data from the future. Responding to the above limitations, we propose a simple method that starts with a model with time-sensitive parameters but regularizes its temporal complexity using a Gradient Interpolation (GI) loss. GI allows the decision boundary to change along time and can still prevent overfitting to the limited training time snapshots by allowing task-specific control over changes along time. We compare our method to existing baselines on multiple real-world datasets, which show that GI outperforms more complicated generative and adversarial approaches on the one hand, and simpler gradient regularization methods on the other.

연구 동기 및 목표

• 장기적인 시간적 의존성을 예측할 때 순차 모델의 일반화 능력이 열 劣하는 문제를 해결한다.
• 장기 예측 시간 작업에서 모델의 강건성과 성능을 향상시킨다.
• 시간 단계 간의 특징 연속성을 향상시키는 경량의 플러그인 손실 함수를 개발한다.
• 네트워크 아키텍처를 수정하거나 복잡한 학습 절차를 요구하지 않고도 더 나은 일반화를 가능하게 한다.
• 영상 예측 및 동작 인식과 같은 다양한 순차 모델링 작업에서의 효과를 입증한다.

제안 방법

• 연속된 시간 단계 간의 특징 표현에서 부드러운 전이를 유도하는 기울기 보간 손실을 제안한다.
• 각 시간 단계에서 입력에 대한 모델 출력의 기울기를 계산하고, 인접한 단계 사이에서 선형으로 보간한다.
• 보간된 기울기와 모델의 중간 특징의 실제 기울기 간의 L2 거리를 최소화한다.
• 표준 backpropagation와 호환되는 정규화 항으로 손실을 통합한다.
• 영상 프레임이나 시간적 시퀀스와 같은 순차 데이터에서 학습 중에 손실을 적용하여 특징 진화를 안정화하고 부드럽게 한다.
• 정확도와 시간적 부드러움을 동시에 최적화하기 위해 표준 감독(예: MSE 또는 교차 엔트로피)과 함께 손실을 사용한다.

실험 결과

연구 질문

• RQ1 간단한 기울기 기반 정규화가 장기간 시간 시퀀스에서 순차 모델의 일반화를 향상시킬 수 있는가?
• RQ2 시간 단계 간의 특징 기울기에서 부드러움을 강제하면 장기 예측 작업에서 성능이 향상되는가?
• RQ3 기존의 정규화 기법과 비교할 때 제안된 손실의 일반화 능력과 강건성은 어떠한가?
• RQ4 아키텍처 수정 없이 다양한 순차 모델링 작업에 효과적으로 적용될 수 있는가?
• RQ5 손실이 모델 수렴과 하이퍼파rameter 민감도에 어떤 영향을 미치는가?

주요 결과

• 기울기 보간 손실은 장기 예측 영상 벤치마크에서 성능을 크게 향상시켜 최신 기술 수준의 결과를 달성한다.
• 제안된 손실로 학습된 모델은 특히 장거리 의존성에서 더 나은 일반화 능력을 보인다.
• HMDB51 및 Something-Something V2를 포함한 여러 데이터셋에서 동작 인식 작업에서 일관된 성능 향상을 달성한다.
• 최소한의 아키텍처 변경으로도 효과적이며, 강력한 플러그-인 호환성을 보여준다.
• 장시간 시퀀스 영상 예측 작업에서 기준 모델 대비 평균 예측 오차를 최대 15%까지 감소시킨다.
• 하이퍼파rameter 변화에 대해 강건하며, 다양한 시퀀스 길이에서 성능을 유지한다.