[논문 리뷰] Actor-Action Semantic Segmentation with Grouping Process Models

Chenliang Xu, Jason J. Corso|arXiv (Cornell University)|2015. 12. 30.

Human Pose and Action Recognition참고 문헌 39인용 수 5

한 줄 요약

이 논문은 계층적 슈퍼바oxel 분해와 국소 CRF 기반 레이블링을 통합하는 동적 그룹화 프로세스 모델(GPM)을 제안한다. 이는 세그먼트 수준의 레이블링과 다중 척도 슈퍼바oxel 그룹화 간 이중 방향 정보 흐름을 가능하게 하여 A2D 데이터셋에서 최신 기술 대비 60%의 상대적 향상을 달성한다. 이는 영상 이해에서 적응형 고차원 그룹화의 효과성을 입증한다.

ABSTRACT

Actor-action semantic segmentation made an important step toward advanced video understanding problems: what action is happening; who is performing the action; and where is the action in space-time. Current models for this problem are local, based on layered CRFs, and are unable to capture long-ranging interaction of video parts. We propose a new model that combines these local labeling CRFs with a hierarchical supervoxel decomposition. The supervoxels provide cues for possible groupings of nodes, at various scales, in the CRFs to encourage adaptive, high-order groups for more effective labeling. Our model is dynamic and continuously exchanges information during inference: the local CRFs influence what supervoxels in the hierarchy are active, and these active nodes influence the connectivity in the CRF; we hence call it a grouping process model. The experimental results on a recent large-scale video dataset show a large margin of 60% relative improvement over the state of the art, which demonstrates the effectiveness of the dynamic, bidirectional flow between labeling and grouping.

연구 동기 및 목표

• 행위-액터 의미 분할에서 장거리 시공간 상호작용을 포괄하지 못하는 국소적, 층상 CRF 모델의 한계를 해결한다.
• 행위(시공간) 레이블링과 액터(공간) 레이블링 간의 공간적·시간적 해상도 불일치 문제를 다양한 추상화 수준에서 모델링하여 해결한다.
• 다중 레이블 비용과 계층적 슈퍼바oxel 그룹화 과정을 통해 영상 수준의 인식 신호를 세그먼트 수준의 레이블링에 통합한다.
• CRF와 슈퍼바oxel 계층 간 반복 피드백을 통해 레이블링과 그룹화를 지속적으로 개선하는 이중 방향 추론 기반 메커니즘을 개발한다.

제안 방법

• 다중 해상도의 시공간 캐릭터리스틱을 제공하는 비디오의 계층적 슈퍼바oxel 분해를 구축하여 레이블링 변수의 잠재적 그룹화를 위한 기반을 마련한다.
• 세그먼트 수준에서 국소 CRF를 사용하여 비디오 수준의 인식 점수에 조건부된 초기 픽셀 단위의 행위-액터 쌍 레이블링을 수행한다.
• CRF 출력에 기반해 계층 내 슈퍼바oxel 노드를 동적으로 활성화하여 실제 행위-액터 구조를 반영하는 적응형 고차원 그룹화를 형성한다.
• 활성 슈퍼바oxel 노드를 활용해 CRF의 연결성을 개선함으로써, 그룹화 과정이 세그먼트 간의 구조 일관성을 강제하여 레이블링에 영향을 주도록 한다.
• 그래프 컷을 사용한 레이블링과 이진 선형 프로그래밍을 사용한 그룹화를 조합한 이중 방향 추론 루프를 구현하여 최적화 과정 중 지속적인 정보 교환을 가능하게 한다.
• 두 가지 유형의 슈퍼바oxel 계층—TSP(시간-공간 분할)와 GBH(탐욕적 하향식 계층)—를 활용하여 모델의 강건성과 성능 향상 정도를 평가한다.

실험 결과

연구 질문

• RQ1 세그먼트 수준의 레이블링과 계층적 그룹화 간의 동적 이중 방향 상호작용이 국소 CRF 모델을 초월해 행위-액터 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 다중 레이블 비용을 통한 영상 수준의 인식 신호 통합이 복잡한 다중 액터 영상에서 픽셀 단위의 레이블링 정확도를 어떻게 향상시키는가?
• RQ3 다중 척도 슈퍼바oxel 그룹화가 공간적·시간적 방향이 다른 행위-액터 쌍의 시공간 구조를 얼마나 잘 모델링하는가?
• RQ4 제안된 그룹화 프로세스 모델이 복잡한 다중 레이블 장면을 포함한 대규모 실생활 영상 데이터셋에서 최신 기술 대비 우월한 성능을 보일 수 있는가?
• RQ5 다른 슈퍼바oxel 계층 구축 방법(TSP 대비 GBH)이 최종 분할 성능와 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 GPM-GBH 모델은 A2D 벤치마크에서 다음으로 우수한 성능을 보인 트리레이어 모델 대비 60%의 상대적 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• 전체 테스트 세트에서 GPM-GBH는 트리레이어 모델 대비 평균 클래스별 픽셀 정확도 17% 향상 및 글로벌 픽셀 정확도 10% 이상 향상된 성능을 기록한다.
• 단일 레이블 행위-액터 영상에서 성능 향상이 가장 두드러지며, 이는 더 나은 구조 모델링 덕분에 평균 클래스별 정확도가 크게 증가했기 때문이다.
• 그룹화 과정은 '개 기어가기'를 제외한 모든 행위-액터 클래스에서 성능 향상을 지속적으로 보이며, 다양한 동작 유형에 걸쳐 일반적인 효과성을 확인한다.
• GBH 기반 계층이 TSP 기반 계층보다 略적으로 더 우수한 결과를 내었으며, 이는 분할 일관성을 향상시키는 보완적인 융합 전략 덕분으로 보인다.
• 시각적 비교 결과, 이 방법은 '공 굴리기'나 '성인 기어가기'와 같은 복잡한 동작을 정확히 분할하며, 모호하거나 겹치는 장면에서 기준 모델들을 능가하는 성능을 보였다.