[논문 리뷰] Learning Motion in Feature Space: Locally-Consistent Deformable Convolution Networks for Fine-Grained Action Detection

Khoi-Nguyen C. Mac, Dhiraj Joshi외 4명|arXiv (Cornell University)|2018. 11. 21.

Human Pose and Action Recognition참고 문헌 29인용 수 4

한 줄 요약

이 논문은 국소적 일致성 있는 변형 가능 컨볼루션(LCDC)을 제안하며, 이는 적응형 수신장 변화를 통해 특성 공간에서 시간적 동역학을 학습하고 국소적 일관성을 강제하여 미세한 운동을 모델링하는 단일 스트림 신경망이다. LCDC는 광학 흐름 기반 백본보다 훨씬 적은 파라미터로 50 Salads(F1: 80.22%)와 GTEA(F1: 75.39%)에서 최신 기준 성능을 달성하며, 픽셀 수준의 운동 추정에 의존하지 않고 공간-시간 특징을 동시에 학습함으로써 이중 스트림 및 표준 변형 가능 컨볼루션 방법을 모두 능가한다.

ABSTRACT

Fine-grained action detection is an important task with numerous applications in robotics and human-computer interaction. Existing methods typically utilize a two-stage approach including extraction of local spatio-temporal features followed by temporal modeling to capture long-term dependencies. While most recent papers have focused on the latter (long-temporal modeling), here, we focus on producing features capable of modeling fine-grained motion more efficiently. We propose a novel locally-consistent deformable convolution, which utilizes the change in receptive fields and enforces a local coherency constraint to capture motion information effectively. Our model jointly learns spatio-temporal features (instead of using independent spatial and temporal streams). The temporal component is learned from the feature space instead of pixel space, e.g. optical flow. The produced features can be flexibly used in conjunction with other long-temporal modeling networks, e.g. ST-CNN, DilatedTCN, and ED-TCN. Overall, our proposed approach robustly outperforms the original long-temporal models on two fine-grained action datasets: 50 Salads and GTEA, achieving F1 scores of 80.22% and 75.39% respectively.

연구 동기 및 목표

• 미세한 운동 차이가 조그만 동작 간 구분을 어렵게 만들기 때문에, 인간조차도 이를 쉽게 식별하기 어려운 미세한 행동 감지 문제를 해결하기 위해.
• 계산 비용이 많이 들고 노이즈가 많은 광학 흐름에 의존하지 않고, 특성 공간에서 직접 운동을 모델링하여 단기 공간-시간 특징 추출을 향상시키기 위해.
• 적응형 수신장과 국소적 일관성 제약 조건을 사용하여 공간적 및 시간적 특징을 동시에 학습하는, 컴act한 단일 스트림 백본 네트워크를 개발하기 위해.
• 기존의 장기 시간 모델링 네트워크인 ST-CNN, DilatedTCN, ED-TCN와 결합했을 때 성능을 향상시키는 유연한 특징 추출기 개발하기 위해.

제안 방법

• 표준 변형 가능 컨볼루션의 확장으로, 연속 프레임 간 적응형 수신장의 변화를 통해 운동을 모델링하는 국소적 일관성 있는 변형 가능 컨볼루션(LCDC)을 제안한다.
• 이웃한 공간적 위치 간 운동 벡터의 일관성을 강제하기 위해 국소적 일관성 제약 조건을 도입하여, 중복되는 파라미터를 줄이고 신뢰성을 향상시킨다.
• 픽셀 수준의 광학 흐름이 아닌 특성 공간의 운동 표현을 사용하며, 모든 변형 가능 컨볼루션 레이어를 통해 집계된 운동 벡터의 총합으로 운동 에너지를 계산한다.
• 변형 가능 컨볼루션 오프셋을 활용해 수신장을 동적으로 조정함으로써, 주목할 만한 영역에 집중하고 고정 커널보다 더 효율적으로 운동 패턴을 포착한다.
• 공간적 및 시간적 스트림을 분리하지 않고 공간-시간 특징을 동시에 학습하는 단일 스트림 네트워크를 설계하여 엔드 투 엔드 학습을 가능하게 한다.
• 국소적 일관성 제약 덕분에 변형 가능 컨볼루션의 변형 파라미터 수를 표준 변형 가능 컨볼루션 대비 36배 줄여 파라미터 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 광학 흐름이나 픽셀 수준의 운동 추정에 의존하지 않고, 적응형 수신장의 변화를 통해 특성 공간에서 운동을 효과적으로 모델링할 수 있는가?
• RQ2 변형 가능 컨볼루션 오프셋에 국소적 일관성 제약을 도입하면 운동 모델링의 신뢰성과 파라미터 복잡도가 향상되는가?
• RQ3 공간-시간 특징을 동시에 학습하는 단일 스트림 엔드 투 엔드 네트워크가, 이중 스트림 또는 이중 단계 접근 방식에 비해 미세한 행동 감지에서 어떤 성능을 보이는가?
• RQ4 ST-CNN나 TCN과 같은 기존의 장기 시간 모델링 네트워크에 LCDC 특징을 통합했을 때 성능 향상 정도는 어느 정도인가?
• RQ5 국소적 일관성 제약 조건이 저속도 운동 또는 높은 유사도를 가지는 동작 시나리오에서 모델의 효율성과 정확성에 어떤 영향을 미치는가?

주요 결과

• LCDC는 50 Salads 데이터셋에서 F1 점수 80.22%를 기록하여 원본 ST-CNN 기준선 및 광학 흐름 기반 이중 스트림 모델을 능가한다.
• GTEA 데이터셋에서는 F1 점수 75.39%를 기록하여 다양한 에고센터 동작 데이터셋에 대해 강력한 일반화 성능을 보여준다.
• 국소적 일관성 제약 덕분에 LCDC는 표준 변형 가능 컨볼루션 대비 변형 가능 컨볼루션의 파라미터 수를 36배 줄였다.
• 모델은 훨씬 적은 파라미터를 사용하면서도 이중 스트림 기준선(TwoStreamNet)을 초월하는 정확도를 달성하여, 효율성과 효과성 모두 입증되었다.
• 제거 실험 결과, 국소적 일관성 제약 조건이 성능 향상에 필수적임을 확인하였으며, 이를 제거하면 정확도가 73.77%에서 72.25%로 감소한다.
• LCDC 특징는 광학 흐름이 없어도 강건하고 효과적이며, 두 데이터셋 모두에서 외관 전용 기준선 및 광학 흐름 기반 운동 스트림보다 뛰어난 성능을 보였다.