[논문 리뷰] Conversational Group Detection With Deep Convolutional Networks

Mason Swofford, John Peruzzi외 1명|arXiv (Cornell University)|2018. 10. 07.

Video Surveillance and Tracking Methods참고 문헌 7인용 수 5

한 줄 요약

이 논문은 2차원 천정도에서 추출한 인물 수준 특징(위치, 방향)과 실내 레이아웃 특징을 사용하여 o-스페이스—사회적 모임 영역—를 식별함으로써 대화 그룹을 탐지하기 위한 딥 컨volution 네트워크를 제안한다. 모델은 순서가 없는 공간 입력을 처리하기 위해 PointNet 기반 아키텍처를 활용하며, 훈련 및 검증 성능에서 최신 기술을 초월하지만, 데이터 불균형과 도전적인 테스트 분할으로 인해 테스트 성능이 떨어진다.

ABSTRACT

Detection of interacting and conversational groups from images has applications in video surveillance and social robotics. In this paper we build on prior attempts to find conversational groups by detection of social gathering spaces called o-spaces used to assign people to groups. As our contributions to the task, we are the first paper to incorporate features extracted from the room layout image, and the first to incorporate a deep network to generate an image representation of the proposed o-spaces. Specifically, this novel network builds on the PointNet architecture which allows unordered inputs of variable sizes. We present accuracies which demonstrate the ability to rival and sometimes outperform the best models, but due to a data imbalance issue we do not yet outperform existing models in our test results.

연구 동기 및 목표

• 대화 그룹 탐지 성능 향상을 위해 o-스페이스를 사회적 모임 영역으로 모델링함으로써 영상 감시 및 사회적 로봇 분야에서의 성능을 향상시키는 것.
• 기존 알고리즘 접근 방식의 한계를 보완하기 위해 이 작업에 딥 러닝을 도입함으로써 엔드 투 엔드 특징 학습을 가능하게 하는 것.
• 벽과 테이블과 같은 실내 레이아웃 특징을 모델에 통합하여 o-스페이스 탐지에 대한 공간적 추론 능력을 향상시키는 것.
• 다양한 그룹 수의 시나리오에서의 데이터 불균형 문제를 해결하기 위해 훈련 중 클래스 가중치를 적용하는 것.
• 코ctail Party 데이터셋에서 모델 성능을 평가하고 최신 비학습 기반 기준 모델과 비교하는 것.

제안 방법

• 사람 특징(위치, 방향)과 실내 레이아웃 특징을 처리하기 위해 PointNet 기반의 딥 네트워크를 사용함.
• 3D에서 2D로의 校정을 통해 카메라 영상을 2차원 천정도로 변환함으로써 실내 레이아웃 특징 추출을 가능하게 함.
• 천정도에 딥 컨volution 네트워크를 적용하여 실내 전역에서 o-스페이스 가능성의 공간적 표현을 생성함.
• 예측된 o-스페이스 히트맵에 대해 비최대 억제 및 임계값 처리를 수행하여 후보 o-스페이스를 국소화함.
• 그리디 할당을 통해 사람들을 가장 가까운 탐지된 o-스페이스에 할당하여 대화 그룹을 구성함.
• 두 가지 훈련 제도를 적용함: 하나는 균일한 클래스 가중치를 사용하고, 다른 하나는 다중 그룹 시나리오의 부족을 보완하기 위해 클래스 균형 가중치를 사용함.

실험 결과

연구 질문

• RQ1 사람 수준 특징과 실내 레이아웃 특징을 모두 사용하여 딥 러닝 모델이 이미지에서 o-스페이스를 효과적으로 탐지할 수 있는가?
• RQ2 사람 특징 외에 실내 레이아웃 특징을 통합할 경우, 오직 사람 특징에 의존하는 모델 대비 o-스페이스 탐지 정확도가 향상되는가?
• RQ3 특히 다중 그룹 시나리오의 희소성으로 인한 데이터 불균형이 모델 일반화 능력과 테스트 성능에 어떤 영향을 미치는가?
• RQ4 과적합된 검증 데이터 성능에도 불구하고, 딥 네트워크가 그래프 컷과 같은 비학습 기반 기준 모델을 능가할 수 있는가?
• RQ5 다양한 환경에서의 데이터 증강 및 모델 재학습이 테스트 성능 향상과 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• 검증 F1 스코어는 T=1일 때 0.69, T=2/3일 때 0.82를 기록하여 이전 최고 성능 모델의 F1 0.64 및 0.85를 초월함.
• 훈련 및 검증 정확도가 이전의 모든 모델, 특히 최신 기술인 그래프 컷 알고리즘을 포함하여 모두 상회함으로써 강력한 학습 능력을 보여줌.
• 훈련 및 검증 성능에 비해 테스트 성능이 크게 떨어지며, 이는 데이터 불균형과 많은 어려운 케이스를 포함한 어려운 테스트 분할로 인한 것임.
• 클래스 가중치 적용은 테스트 F1 스코어를 약간 향상시켰지만, 최고 성능의 비학습 기반 모델과의 격차를 메우기에는 부족함.
• 일부 경우에서 두 개의 근접한 o-스페이스를 탐지할 수 있는 능력을 보였지만, 공간적으로 가까운 또는 겹치는 그룹에 대해서는 어려움을 겪음.
• 저자들은 더 대표성 있는 데이터 분할 또는 다양한 환경에서의 추가 훈련 데이터를 통해 테스트 성능 향상이 가능할 것이라 추측함.