[논문 리뷰] Locally-Consistent Deformable Convolution Networks for Fine-Grained Action Detection.

Khoi-Nguyen C. Mac, Dhiraj Joshi외 4명|arXiv (Cornell University)|2018. 11. 21.

Human Pose and Action Recognition참고 문헌 19인용 수 4

한 줄 요약

이 논문은 특징 공간에서의 운동을 픽셀 공간이 아닌 특징 공간에서 모델링함으로써 공간-시간 특징을 통합적으로 학습하는 局소 일관성 있는 변형 가능 컨벌루션 네트워크를 제안한다. 이는 수신장 내 국소 일관성을 강제하여 미세한 동작 감지를 향상시킨다. 50 Salads(F1: 80.22%)와 GTEA(F1: 75.39%)에서 SOTA 성능을 달성하였으며, 기존의 장기 시간 모델링 방법과 조합할 경우 기존 방법을 능가한다.

ABSTRACT

Fine-grained action detection is an important task with numerous applications in robotics and human-computer interaction. Existing methods typically utilize a two-stage approach including extraction of local spatio-temporal features followed by temporal modeling to capture long-term dependencies. While most recent papers have focused on the latter (long-temporal modeling), here, we focus on producing features capable of modeling fine-grained motion more efficiently. We propose a novel locally-consistent deformable convolution, which utilizes the change in receptive fields and enforces a local coherency constraint to capture motion information effectively. Our model jointly learns spatio-temporal features (instead of using independent spatial and temporal streams). The temporal component is learned from the feature space instead of pixel space, e.g. optical flow. The produced features can be flexibly used in conjunction with other long-temporal modeling networks, e.g. ST-CNN, DilatedTCN, and ED-TCN. Overall, our proposed approach robustly outperforms the original long-temporal models on two fine-grained action datasets: 50 Salads and GTEA, achieving F1 scores of 80.22% and 75.39% respectively.

연구 동기 및 목표

• 기존의 미세한 동작 감지 방법이 별도의 공간 및 시간 스트림에 의존함으로써 미세한 운동 세부 정보를 놓칠 수 있는 한계를 해결한다.
• 원시 픽셀이나 옵티컬 플로우에 의존하지 않고, 특징 공간에서 직접 시간 동역학을 학습함으로써 미세한 운동을 위한 특징 표현을 향상시킨다.
• 이웃 영역 간의 운동 일관성을 더 잘 포착하기 위해 수신장 변화에 국소 일관성 제약 조건을 도입한다.
• 기존의 장기 시간 모델링 네트워크인 ST-CNN, DilatedTCN, ED-TCN와 유사하게 유연하게 통합될 수 있는 특징 추출 모듈을 개발한다.
• 하류의 시간 모델 아키텍처를 대대적으로 수정하지 않고도 벤치마크 미세한 동작 감지 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

제안 방법

• 특징 맵에 기반하여 수신장을 동적으로 조정하는 새로운 국소 일관성 있는 변형 가능 컨벌루션을 제안하여 국소 운동 패턴에 대한 민감도를 향상시킨다.
• 변형 오프셋에 국소 일관성 제약 조건을 도입하여 공간적으로 인접한 영역가 일관된 운동 행동을 보이도록 하여 특징 일관성을 향상시킨다.
• 원시 픽셀이나 옵티컬 플로우가 아닌 특징 표현에서 직접 시간 동역학을 학습함으로써 운동 추정 오차에 대한 의존도를 감소시킨다.
• 두 가지 스트림 또는 두 단계 파이프라인의 비효율성을 피하기 위해 공간 및 시간 특징 학습을 종단 간(end-to-end)으로 공동 최적화한다.
• 이 모듈이 기존의 장기 시간 모델링 네트워크와 쉽게 통합될 수 있도록 플러그 앤 플레이 방식으로 설계하여 융합의灵活性와 성능 향상을 가능하게 한다.
• 특징 공간에서의 변형을 활용하여 미세한 운동 변화를 모델링함으로써, 네트워크가 관련된 공간-시간 패턴에 적응적으로 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 특징 공간에서의 운동 모델링을 향상시킴으로써 국소 일관성 있는 변형 가능 컨벌루션은 미세한 동작 감지 성능을 향상시킬 수 있는가?
• RQ2 수신장 변형에 국소 일관성 제약 조건을 적용함으로써 더 견고하고 구분력 있는 공간-시간 특징을 얻을 수 있는가?
• RQ3 통합된 특징 학습 접근 방식은 별도의 공간-시간 스트림 아키텍처보다 미세한 동작 인식에서 더 우수한 성능을 낼 수 있는가?
• RQ4 ST-CNN나 DilatedTCN와 같은 기존의 장기 시간 모델링 네트워크와 조합했을 때, 제안된 모듈이 성능 향상에 얼마나 기여하는가?
• RQ5 픽셀 공간이 아닌 특징 공간에서 시간 동역학을 학습함으로써 미세한 동작 데이터셋에서 일반화 성능이 향상되는가?

주요 결과

• 제안된 국소 일관성 있는 변형 가능 컨벌루션은 50 Salads 데이터셋에서 F1 점수 80.22%를 달성하여 원래의 장기 시간 모델을 초월한다.
• GTEA 데이터셋에서는 F1 점수 75.39%를 기록하여 다양한 미세한 동작 벤치마크에서 일관된 성능 향상을 보였다.
• 기존의 장기 시간 모델링 네트워크와 함께 특징 추출기로 사용했을 때 성능 향상이 이루어져, 높은 호환성과 일반화 능력을 입증했다.
• 원시 픽셀 공간이 아닌 특징 공간에서 시간 동역학을 학습함으로써 옵티컬 플로우 추정 오차를 피할 수 있었고, 더 신뢰할 수 있는 운동 모델링이 가능했다.
• 국소 일관성 제약 조건이 특징 일관성을 크게 향상시켜, 미세한 동작 클래스에 대해 더 구분력 있는 표현을 제공했다.
• 공통된 공간-시간 특징 학습 프레임워크는 정확도와 효율성 측면에서 두 스트림 또는 별도의 공간-시간 처리 파이프라인을 능가했다.