[논문 리뷰] Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians

Peiyun Hu, Deva Ramanan|arXiv (Cornell University)|2015. 07. 21.

Human Pose and Action Recognition참고 문헌 59인용 수 6

한 줄 요약

이 논문은 계층적 Rectified Gaussian (RG) 모델을 제안하며, ReLU를 갖는 순환 신경망을 통해 최적화되는 이차 에너지 함수를 통해 상향 피드백을 컨volutional 신경망(CNNs)에 통합한다. 이 방법은 파rameter를 추가하지 않으면서도 가림 상황에서 최신 기준 성능을 달성하며, MPII 및 LSP 벤치마크에서 더 나은 공간 이해를 위해 이방향 추론을 활용하여 성능을 크게 향상시킨다.

ABSTRACT

Convolutional neural nets (CNNs) have demonstrated remarkable performance in recent history. Such approaches tend to work in a unidirectional bottom-up feed-forward fashion. However, practical experience and biological evidence tells us that feedback plays a crucial role, particularly for detailed spatial understanding tasks. This work explores bidirectional architectures that also reason with top-down feedback: neural units are influenced by both lower and higher-level units. We do so by treating units as rectified latent variables in a quadratic energy function, which can be seen as a hierarchical Rectified Gaussian model (RGs). We show that RGs can be optimized with a quadratic program (QP), that can in turn be optimized with a recurrent neural network (with rectified linear units). This allows RGs to be trained with GPU-optimized gradient descent. From a theoretical perspective, RGs help establish a connection between CNNs and hierarchical probabilistic models. From a practical perspective, RGs are well suited for detailed spatial tasks that can benefit from top-down reasoning. We illustrate them on the challenging task of keypoint localization under occlusions, where local bottom-up evidence may be misleading. We demonstrate state-of-the-art results on challenging benchmarks.

연구 동기 및 목표

• 하향식 CNN의 단방향 성향이 가려진 상황에서의 세부 공간 추론 작업에 한계를 가진다는 문제를 해결하기 위해.
• 계층적 확률 모델에 기반한 확률적 에너지 기반 프레임워크를 사용해 깊은 네트워크에 상향 피드백을 통합하기 위해.
• 표준 딥 러닝 툴박스를 통해 최적화를 펼쳐내어 계층적 모델을 분류 기반으로 훈련시킬 수 있도록 하기 위해.
• 모델 파rameter 수를 늘리지 않고도 시각적 심층 분석 작업(관절점 국소화 및 가시성 예측 등)의 성능을 향상시키기 위해.
• CNN과 계층적 확률 모델 간 이론적이고 실용적인 연결 고리를 Rectified Gaussian 분포를 통해 구축하기 위해.

제안 방법

• 신경 단위를 이차 프로그래밍의 비음수 잠재 변수로 모델링하여 Rectified Gaussian (RG) 분포를 형성한다.
• 계층적 구조에서 층 간의 이방향 상호작용을 표현하기 위해 대칭 행렬 W와 편향 벡터 b를 사용한다.
• 좌표 강하를 통해 이차 프로그래밍(QP)을 추론하며, 이를 ReLU 활성화를 갖는 순환 신경망으로 전개한다.
• GPU 가속 기반의 경사 하강법을 사용해 RG 모델을 최적화하여 표준 딥 러닝 프레임워크에서 엔드 투 엔드 훈련을 가능하게 한다.
• VGG16과 같은 최신 아키텍처에 파라미터 수를 늘리지 않고 피드백 경로를 추가함으로써 적용한다.
• 다중 스케일 하향 특징을 활용하고 반복적으로 피드백을 통해 예측을 정밀하게 다듬어 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 상향 피드백이 가려진 또는 모호한 시각 조건에서 관절점 국소화 성능을 향상시킬 수 있는가?
• RQ2 Rectified Gaussian 기반의 계층적 확률 모델이 표준 딥 러닝 툴박스를 통해 엔드 투 엔드 훈련이 가능한가?
• RQ3 CNN에 이방향 추론을 통합함으로써 모델 복잡도를 늘리지 않고도 시각적 심층 분석 작업 성능이 향상되는가?
• RQ4 피드백 반복 횟수가 계층적 RG 모델의 성능에 어떤 영향을 미치는가?
• RQ5 상향 피드백은 국소화 뿐 아니라 관절점의 가시성 예측 성능 향상에도 기여하는가?

주요 결과

• 제안된 상향 모델 ${\bf QP}_2$ 는 MPII 벤치마크에서 PCKh-0.5 82.4%를 달성하여 이전 최고 성능 기록을 초월한다.
• LSP 데이터셋에서 상향 모델은 하향 기반 모델의 76.8%에서 78.6%로 PCKh-0.5 성능을 향상시켜 기준 대비 2% 향상되었다.
• MPII에서의 가시성 예측 성능은 정밀도 80%에서 재현율 44%에서 상향 모델을 사용한 결과 49%로 향상되어 더 나은 추론 능력을 입증했다.
• ${\bf QP}_4$는 네트워크 크기가 작은 경우 최고의 성능를 기록했지만, ${\bf QP}_2$는 속도와 정확도의 균형을 잘 유지하는 것으로 나타났다.
• 상향 모델은 다중 스케일 및 후처리를 사용하는 이전 방법인 TB [45]보다 2배 빠른 86.5ms를 기록하면서도 더 높은 정확도를 달성했다.
• 모든 순환 RG 모델이 하향 기반 베이스라인을 모두 초월하여, 추가 파rameter 없이도 피드백이 특징 품질을 향상시킨다는 점을 확인했다.