[논문 리뷰] What have we learned from deep representations for action recognition?

Christoph Feichtenhofer, Axel Pinz외 2명|arXiv (Cornell University)|2018. 01. 04.

Human Pose and Action Recognition인용 수 30

한 줄 요약

이 논문은 깊이 있는 두 방식 영상 행동 인식 모델을 시각화하기 위해 시공간적으로 정규화된 활성화 최대화 기법을 제안한다. 이 기법을 통해 모델이 외관과 운동을 조합한 분산형, 클래스별 시공간적 특징을 학습하고 있음을 밝혀냈다. 주요 기여는 계층적 운동 표현의 첫 번째 시각화이며, 이는 교차 스트림 융합이 진정한 시공간 특징 학습을 가능하게 하고, 모델의 강점과 데이터셋 편향을 드러낸다.

ABSTRACT

As the success of deep models has led to their deployment in all areas of computer vision, it is increasingly important to understand how these representations work and what they are capturing. In this paper, we shed light on deep spatiotemporal representations by visualizing what two-stream models have learned in order to recognize actions in video. We show that local detectors for appearance and motion objects arise to form distributed representations for recognizing human actions. Key observations include the following. First, cross-stream fusion enables the learning of true spatiotemporal features rather than simply separate appearance and motion features. Second, the networks can learn local representations that are highly class specific, but also generic representations that can serve a range of classes. Third, throughout the hierarchy of the network, features become more abstract and show increasing invariance to aspects of the data that are unimportant to desired distinctions (e.g. motion patterns across various speeds). Fourth, visualizations can be used not only to shed light on learned representations, but also to reveal idiosyncracies of training data and to explain failure cases of the system.

연구 동기 및 목표

• 깊이 있는 시공간 표현이 영상 행동 인식 모델에서 실제로 무엇을 학습하는지 이해하기 위해, 이들의 구성적 구조로 인해 내부 추론이 어려운 점을 고려한다.
• 학습 데이터에 의존하지 않는 특정 입력 샘플에 의존하지 않는 내부 특징을 시각화하는 방법을 개발한다.
• 외관 및 운동 경로가 두 방식 네트워크에서 어떻게 상호작용하는지 조사하고, 융합이 진정한 시공간 특징을 이끌어내는지 확인한다.
• 시각화를 활용해 모델의 실패 원인을 진단하고, UCF101과 같은 벤치마크 데이터셋에서 숨겨진 데이터셋 편향을 밝혀내기 위해 사용한다.

제안 방법

• 입력에 대해 기울기를 역전파하여 단위 활성화를 최대화하는 자극을 찾는 시공간 정규화된 활성화 최대화 기법을 제안한다.
• 백색 잡음에서 유도된 합성 입력을 최적화하기 위해 경사 상승법을 적용하여, 두 방식 네트워크의 외관 및 운동 브랜치에서의 필터 반응을 최대화한다.
• 시공간 일관성을 확보하기 위해 정규화를 적용하여, 시각화 결과가 잡음이 아닌 현실적인 영상 유사 패턴을 반영하도록 한다.
• VGG-16 두 방식 융합 모델의 여러 레이어에서 특징을 시각화하여 계층적 추상화와 불변성 분석을 수행한다.
• 다양한 시간 정규화 수준(χ)에 따른 시각화를 비교하여 운동 속도 및 패턴 변동에 대한 강건성 평가를 수행한다.
• 클래스 예측 유닛을 최대화하여 특정 행동 분류를 이끄는 특징이 무엇인지 밝혀내기 위해 분석한다.

실험 결과

연구 질문

• RQ1 깊이 있는 두 방식 네트워크는 행동 인식을 위해 어떤 종류의 시공간적 특징을 학습하는가?
• RQ2 교차 스트림 융합은 진정한 시공간 표현을 이끌어내는가, 아니면 단지 별개의 외관 및 운동 특징만 생성하는가?
• RQ3 학습된 특징의 구체성은 어떻게 변화하는가? 특정 클래스의 패턴을 포착하는가, 아니면 일반적인 운동 또는 외관 신호를 포괄하는가?
• RQ4 시각화 결과가 행동 인식 모델의 데이터셋 편향이나 실패 모드를 어느 정도 드러내는가?
• RQ5 예를 들어, 바이올린 연주와 첼로 연주처럼 혼동이 쉬운 행동 클래스 간의 미세한 차이를 시각화로 폭 드러낼 수 있는가?

주요 결과

• 교차 스트림 융합은 진정한 시공간 특징 학습을 가능하게 하며, 예를 들어 외관에서는 색조가 강조된 고리 모양의 영역, 운동에서는 움직이는 원형 영역에 의해 활성화되는 필터를 통해 룰렛과 같은 행동을 인식하는 데 기여한다.
• 모델은 고유한 클래스 특징(예: CleanAndJerk의 바벨과 신체 운동)과 일반화 가능한 표현(예: 사지와 운동 패턴)을 모두 학습한다.
• 특징이 네트워크 계층을 거치면서 점점 더 추상화되고, 운동 속도 등의 부적절한 변형에 대해 불변성이 향상됨을 보여, 점진적인 추상화 과정이 이루어짐을 시사한다.
• PlayingCello와 PlayingViolin의 혼동은 모델이 악기의 방향(수평 대비 수직)에 집중하기 때문이며, 빗소리 기술 같은 세부 사항은 고려하지 않는다.
• 양치기와 수염 밀기의 혼동은 얼굴 근처의 도구에 공통된 국소적 운동과 외관이 있기 때문이며, 모델은 도구의 운동 패턴과 얼굴 구조의 미세한 차이를 구분하지 못한다.
• ApplyEyeMakeup와 ApplyLipstick를 구분하는 데에는 후자의 경우 눈의 움직임을 감지하는 것이 일부 기여하며, 이는 데이터셋 내에서 눈이 일반적으로 정적인 첫 번째 클래스에 대한 특이성을 드러낸다.