[논문 리뷰] Action recognition in still images by latent superpixel classification

Shaukat Abidi, Massimo Piccardi외 1명|arXiv (Cornell University)|2015. 07. 30.

Human Pose and Action Recognition참고 문헌 14인용 수 3

한 줄 요약

이 논문은 초분할 영역(스퍼퍼셀) 분할과 잠재 구조적 서포트 벡터 머신을 통한 잠재 슈퍼셀 분류를 활용하여 정적 이미지에서의 행동 인식을 위한 새로운 접근법을 제안한다. 먼저 객체 유사 영역(스퍼퍼셀)을 검출하고 사전 훈련된 검출기를 적용하여 특징을 추출한 후, 구조적 그래픽 모델을 통해 슈퍼셀 클래스와 행동 레이블을 동시에 추론한다. 이로써 스탠포드 40 행동 데이터셋에서 평균 정확도 74.06%를 달성한다.

ABSTRACT

Action recognition from still images is an important task of computer vision applications such as image annotation, robotic navigation, video surveillance and several others. Existing approaches mainly rely on either bag-of-feature representations or articulated body-part models. However, the relationship between the action and the image segments is still substantially unexplored. For this reason, in this paper we propose to approach action recognition by leveraging an intermediate layer of "superpixels" whose latent classes can act as attributes of the action. In the proposed approach, the action class is predicted by a structural model(learnt by Latent Structural SVM) based on measurements from the image superpixels and their latent classes. Experimental results over the challenging Stanford 40 Actions dataset report a significant average accuracy of 74.06% for the positive class and 88.50% for the negative class, giving evidence to the performance of the proposed approach.

연구 동기 및 목표

• 기존 방법에서 다루지 않은 바람직하지 않은 정적 이미지 내 이미지 세그먼트(스퍼퍼셀)와 행동 클래스 간의 관계를 탐색한다.
• 최종 행동 예측에 영향을 주는 중간 속성으로서의 슈퍼셀 클래스를 모델링하여 행동 인식 성능을 향상시킨다.
• 특히 감시나 로봇 공학과 같은 시간 정보가 제한된 환경에서 단일 프레임에서 행동을 인식하는 과제를 해결한다.
• 구조적 예측 모델을 사용하여 슈퍼셀 분류와 행동 인식을 통합하는 공동 추론 프레임워크를 개발한다.
• 균형 잡힌 양성 및 음성 클래스 성능을 중시하여, 매우 도전적인 벤치마크 데이터셋인 스탠포드 40 행동 데이터셋에서 방법을 평가한다.

제안 방법

• 초분할 알고리즘을 사용하여 이미지를 과분할하여 공간적으로 일관되고 균일한 영역을 생성한다.
• 각 슈퍼셀에 대해 '얼굴', '자전거', '휴대폰' 등의 23개의 사전 훈련된 객체 검출기를 적용하여 검출기 점수 벡터를 측정으로 추출한다.
• 완전히 연결된 그래픽 모델을 통해 슈퍼셀 간의 종속성을 모델링하면서, 잠재 구조적 서포트 벡터 머신 프레임워크를 사용하여 슈퍼셀 클래스와 글로벌 행동 클래스를 동시에 예측한다.
• 훈련 중에 정확한 행동 클래스 예측을 최적화하기 위해 0-1 손실 함수를 사용하는 손실 증강 추론 단계를 사용한다.
• 그래픽 모델은 입력 측정값(검출기 점수), 은닉 상태(슈퍼셀 클래스), 출력(행동 클래스)의 세 층으로 구성되며, 모든 노드 간에 상호의존성이 존재한다.
• 일관성을 유지하면서 각 슈퍼셀의 클래스 레이블을 반복적으로 최대화하는 탐욕 알고리즘을 통해 근사 추론을 수행한다.

실험 결과

연구 질문

• RQ1 슈퍼셀 수준의 잠재 클래스는 정적 이미지 내 행동 인식을 위한 효과적인 중간 표현으로 기능할 수 있는가?
• RQ2 독립적 또는 백오브프래즈스터 기반 접근 방식과 비교했을 때, 슈퍼셀과 행동 분류를 동시에 모델링하는 것이 성능 향상에 기여하는가?
• RQ3 관련 없는 데이터셋에서 사전 훈련된 객체 검출기가 정적 이미지 내 행동 인식에 얼마나 일반화될 수 있는가?
• RQ4 잠재 변수를 포함한 구조적 예측 모델을 사용할 경우, 도전적인 미세한 행동 분류 데이터셋에서 인식 정확도가 향상되는가?
• RQ5 양성 및 음성 클래스 간의 성능 격차는 얼마이며, 이는 모델의 균형 잡힘과 일반화 능력을 어떻게 반영하는가?

주요 결과

• 제안된 방법은 스탠포드 40 행동 데이터셋의 모든 40개 행동 클래스에서 음성 클래스 평균 정확도 88.50%와 양성 클래스 평균 정확도 74.06%를 달성한다.
• 최근 연구에서 보고된 55.93%의 정확도와 비교해 본 논문의 방법은 뚜렷한 성능 향상을 보이며, 매우 도전적인 벤치마크에서의 효과성을 입증한다.
• '보트를 갈아내는 것'과 같은 일부 행동은 양성 샘플에서 93% 이상의 정확도를 기록하여 명확하게 식별 가능한 행동에 대해 뛰어난 성능을 보인다.
• '달리기'와 같은 행동은 낮은 양성 정확도(48.99%)를 보이며, 정적 프레임에서의 동적 행동 인식의 어려움을 드러낸다.
• 높은 음성 클래스 정확도로 인해 양성 및 음성 예측 간 균형이 잘 유지되고 있음을 확인하여, 클래스 불균형에 대한 강건성을 보여준다.
• 재학습 없이도 관련 없는 데이터셋에서 사전 훈련된 검출기(예: 현미경, 천체망원경)를 사용함에도 불구하고 뛰어난 성능을 기록함으로써 일반화 능력이 뛰어나다는 것을 시사한다.