[논문 리뷰] Actor-Action Semantic Segmentation with Region Masks.

Kang Dang, Chunluan Zhou외 4명|arXiv (Cornell University)|2018. 01. 01.

Human Pose and Action Recognition인용 수 2

한 줄 요약

이 논문은 영역 마스크 내 모든 픽셀에 대해 단일 동작 레이블을 할당하여 일관된 동작 레이블링을 보장하는 영역 기반 액터-액션 의미 분할 방법을 제안한다. 이는 두 스트림 네트워크를 사용하여 특징을 융합하고 영역 기반 분할 헤드를 적용한다. 제안된 방법은 A2D 데이터셋에서 SOTA 대비 평균 클래스 정확도(8.1%)와 평균 IoU(5.3%)에서 향상된 성능을 달성한다.

ABSTRACT

In this paper, we study the actor-action semantic segmentation problem, which requires joint labeling of both actor and action categories in video frames. One major challenge for this task is that when an actor performs an action, different body parts of the actor provide different types of cues for the action category and may receive inconsistent action labeling when they are labeled independently. To address this issue, we propose an end-to-end region-based actor-action segmentation approach which relies on region masks from an instance segmentation algorithm. Our main novelty is to avoid labeling pixels in a region mask independently - instead we assign a single action label to these pixels to achieve consistent action labeling. When a pixel belongs to multiple region masks, max pooling is applied to resolve labeling conflicts. Our approach uses a two-stream network as the front-end (which learns features capturing both appearance and motion information), and uses two region-based segmentation networks as the back-end (which takes the fused features from the two-stream network as the input and predicts actor-action labeling). Experiments on the A2D dataset demonstrate that both the region-based segmentation strategy and the fused features from the two-stream network contribute to the performance improvements. The proposed approach outperforms the state-of-the-art results by more than 8% in mean class accuracy, and more than 5% in mean class IOU, which validates its effectiveness.

연구 동기 및 목표

• 액터-액션 분할 과정에서 신체 부위 간 일관되지 않은 동작 레이블링 문제를 해결하기 위해 영역 마스크 내에서 균일한 레이블링을 강제화한다.
• 두 스트림 네트워크를 통해 외관 및 운동 특징을 융합하여 액터-액션 의미 분할 성능을 향상시킨다.
• 픽셀이 다중 영역 마스크에 속할 경우 발생하는 레이블 충돌 문제를 최대 풀링을 통해 해결한다.
• 공간 일관성을 확보하는 종합적인 예측을 수행하는 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 액터-액션 레이블링을 위한 기초로 인스턴스 세그멘테이션 알고리즘에서 유도된 영역 마스크를 사용하며, 각 마스크에 대해 하나의 동작 레이블을 할당하여 일관성을 확보한다.
• 외관 및 운동 특징을 추출하기 위해 두 스트림 컨볼루션 네트워크를 활용하며, 이를 융합하여 개선된 표현을 도출한다.
• 픽셀이 다중 영역 마스크에 속할 경우 충돌을 해결하기 위해 최대 풀링을 적용하여 가장 높은 신뢰도의 동작 레이블을 선택한다.
• 융합된 특징을 입력으로 사용하는 두 개의 영역 기반 세그멘테이션 헤드를 활용하여 각 영역의 액터 및 동작 카테고리를 예측한다.
• 모델 전체를 엔드 투 엔드로 훈련하여 공간 일관성을 확보하는 공동 액터-액션 레이블링을 최적화한다.

실험 결과

연구 질문

• RQ1 영역 마스크 내에서 일관된 동작 레이블링을 강제화하는 것이 액터-액션 의미 분할 성능 향상에 기여하는가?
• RQ2 외관 및 운동 특징을 융합하는 것이 액터-액션 레이블링 정확도에 어떤 영향을 미치는가?
• RQ3 픽셀 단위 독립 레이블링 대비 영역 기반 레이블링이 동작 일관성에 어떤 영향을 미치는가?
• RQ4 최대 풀링은 겹치는 영역 레이블링 충돌을 효과적으로 해결하는가?

주요 결과

• 제안된 영역 기반 레이블링 전략은 영역 마스크 내 모든 픽셀에 대해 일관된 동작 레이블링을 보장함으로써 성능 향상에 크게 기여한다.
• 두 스트림 네트워크에서 유도된 융합 특징의 사용은 액터-액션 분할 성능에 상당한 향상을 이룬다.
• 평균 클래스 정확도(mCA)는 72.4%를 기록하여 이전 SOTA 대비 8.1% 포인트 향상되었다.
• 평균 교차율(mIoU)은 58.9%에 도달하여 이전 SOTA 대비 5.3% 포인트 향상되었다.