[논문 리뷰] Manifold Regularized Slow Feature Analysis for Dynamic Texture Recognition

Jie Miao, Xiangmin Xu외 2명|arXiv (Cornell University)|2017. 06. 09.

Image Retrieval and Classification Techniques참고 문헌 44인용 수 3

한 줄 요약

이 논문은 동적 텍스처 인식을 위한 만곡면 정규화된 빠른 특징 분석(MR-SFA)을 제안하며, 표준 SFA에 만곡면 정규화를 통합하여 비디오 시퀀스에서 느리게 변화하고 국소적으로 예측 가능한 특징을 학습한다. 이 방법은 컨볼루션 특징 추출, 풀링 및 파이셔 벡터 인코딩을 결합함으로써 DynTex 및 DynTex++ 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 저해상도 및 복잡한 동적 텍스처 영상에서 전통적 SFA 및 CNN 기반 접근법을 능가한다.

ABSTRACT

Dynamic textures exist in various forms, e.g., fire, smoke, and traffic jams, but recognizing dynamic texture is challenging due to the complex temporal variations. In this paper, we present a novel approach stemmed from slow feature analysis (SFA) for dynamic texture recognition. SFA extracts slowly varying features from fast varying signals. Fortunately, SFA is capable to leach invariant representations from dynamic textures. However, complex temporal variations require high-level semantic representations to fully achieve temporal slowness, and thus it is impractical to learn a high-level representation from dynamic textures directly by SFA. In order to learn a robust low-level feature to resolve the complexity of dynamic textures, we propose manifold regularized SFA (MR-SFA) by exploring the neighbor relationship of the initial state of each temporal transition and retaining the locality of their variations. Therefore, the learned features are not only slowly varying, but also partly predictable. MR-SFA for dynamic texture recognition is proposed in the following steps: 1) learning feature extraction functions as convolution filters by MR-SFA, 2) extracting local features by convolution and pooling, and 3) employing Fisher vectors to form a video-level representation for classification. Experimental results on dynamic texture and dynamic scene recognition datasets validate the effectiveness of the proposed approach.

연구 동기 및 목표

• 비유비틀성 변형 및 공간-시간 이동과 같은 복잡한 시간적 변형을 가진 동적 텍스처를 인식하는 데 도전하는 것.
• 시간적 복잡성으로 인해 원시적인 동적 텍스처에서 직접 강력한 고수준 표현을 추출하기 어려운 표준 빠른 특징 분석(SFA)의 한계를 극복하는 것.
• 시간 전이에서 국소성을 유지하는 만곡면 정규화를 통합하여 특징가 느리게 변화하고 일부 예측 가능하도록 하는 것.
• 딥러닝 방법이 덜 효과적인 저해상도 및 소형 객체 동적 텍스처 영상에 적합한 효율적이고 저복잡도의 특징 추출 파이프라인 개발하는 것.
• 백과의 어휘 모델을 사용하여 시점, 척도 및 공간-시간 이동에 대해 불변인 영상 수준의 표현을 얻는 것.

제안 방법

• 각 전이의 초기 상태를 기반으로 시간 전이 간의 이웃 관계를 구성하여 데이터 만곡면의 국소적 구조를 모델링한다.
• 학습된 특징의 변동을 제약하기 위해 만곡면 정규화를 적용하여 입력 공간에서 가까운 초기 상태가 유사하고 느리게 변화하는 출력을 유도한다.
• MR-SFA를 사용해 컨볼루션 필터로 특징 추출 함수를 학습하여 영상 볼륨에서 국소적이고 느리게 변화하는 특징을 추출한다.
• 컨볼루션과 최대 풀링을 통해 국소적 특징 추출을 수행하여 강건성과 공간 불변성을 향상시킨다.
• 전체 영상의 압축적이고 분류에 효과적인 영상 수준 표현을 형성하기 위해 파이셔 벡터를 사용한다.
• 지문 분포를 모델링하기 위해 국소적 특징의 분포를 고려하기 위해 가우시안 혼합 모델(GMMs)과 백과의 어휘 모델을 사용한다.

실험 결과

연구 질문

• RQ1 만곡면 정규화는 동적 텍스처 인식을 위한 빠른 특징 분석의 강건성과 예측 능력을 향상시킬 수 있는가?
• RQ2 MR-SFA는 동적 텍스처의 복잡한 시간적 변형을 해결할 수 있도록 느리게 변화하고 국소적으로 예측 가능한 특징을 어느 정도 추출할 수 있는가?
• RQ3 기준 동적 텍스처 데이터셋에서 MR-SFA는 표준 SFA 및 C3D, SA-CNN과 같은 최신 기술 기반 접근법(CNN 및 LDS 기반 방법)과 비교해 어떻게 성능을 내는가?
• RQ4 딥러닝 모델이 덜 효과적인 저해상도 및 소형 객체 동적 텍스처 영상에서 MR-SFA는 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 만곡면 정규화 통합이 GMM 및 파이셔 벡터를 사용한 영상 표현에 있어 더 나은 클러스터링 및 분류 성능을 이끌어내는가?

주요 결과

• MR-SFA는 DynTex 및 DynTex++ 데이터셋에서 최신 기술 수준 성능을 달성하여 표준 SFA 및 MBSIF-TOP를 크게 능가한다.
• DynTex++ 데이터셋에서 MR-SFA는 저해상도 및 소형 객체 영상에 덜 효과적인 C3D 및 SA-CNN과 같은 CNN 기반 모델을 능가한다.
• DynTex++ 데이터셋에서 8개 필터를 사용할 경우 특징 추출 속도는 41.6 프레임/초로, 저해상도 영상에서의 계산 효율성을 입증한다.
• MR-SFA 특징는 잘 분포되어 있으며, LDS 특징의 매우 비선형적인 파rameter와 달리 소수의 GMM 클러스터로 효과적으로 모델링될 수 있다.
• YUPENN 데이터셋에서의 성능 향상은 복잡한 시간 전이가 적기 때문에 더 작으며, 이는 MR-SFA가 시간 복잡도가 높은 영상에서 가장 효과적임을 시사한다.
• 단일 컨볼루션 계층과 적은 수의 필터로도 경쟁 가능한 결과를 달성함으로써, 이 방법의 효율성과 저연산 비용을 입증한다.