[논문 리뷰] Pixel-wise Attentional Gating for Parsimonious Pixel Labeling

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|2018. 05. 03.

CCD and CMOS Imaging Sensors참고 문헌 47인용 수 35

한 줄 요약

이 논문은 깊이 합성곱 신경망에서 픽셀 수준의 레이블링 작업을 위한 동적 계산 할당을 학습할 수 있는 일반적이고 미분 가능한 메커니즘인 픽셀 단위 주의적 게이팅(Pixel-wise Attentional Gating, PAG)을 제안한다. Gumbel-Softmax 샘플링을 사용하여 희박한 픽셀별 이진 마스크를 학습함으로써 PAG는 계산 비용을 최대 30%까지 줄일 수 있는 적응형 추론을 가능하게 하며, 정확도 저하가 최소화되면서도 의미 분할, 깊이 추정, 표면 법선 예측 작업에서 동적 풀링 및 선택적 특징 처리를 통해 성능 향상을 이룬다.

ABSTRACT

To achieve parsimonious inference in per-pixel labeling tasks with a limited computational budget, we propose a \emph{Pixel-wise Attentional Gating} unit (\emph{PAG}) that learns to selectively process a subset of spatial locations at each layer of a deep convolutional network. PAG is a generic, architecture-independent, problem-agnostic mechanism that can be readily "plugged in" to an existing model with fine-tuning. We utilize PAG in two ways: 1) learning spatially varying pooling fields that improve model performance without the extra computation cost associated with multi-scale pooling, and 2) learning a dynamic computation policy for each pixel to decrease total computation while maintaining accuracy. We extensively evaluate PAG on a variety of per-pixel labeling tasks, including semantic segmentation, boundary detection, monocular depth and surface normal estimation. We demonstrate that PAG allows competitive or state-of-the-art performance on these tasks. Our experiments show that PAG learns dynamic spatial allocation of computation over the input image which provides better performance trade-offs compared to related approaches (e.g., truncating deep models or dynamically skipping whole layers). Generally, we observe PAG can reduce computation by $10\%$ without noticeable loss in accuracy and performance degrades gracefully when imposing stronger computational constraints.

연구 동기 및 목표

• 플랙스 및 모바일 환경에서 픽셀 수준의 레이블링 작업을 위한 깊이 합성곱 신경망의 높은 계산 비용을 해결하기 위함.
• 모든 공간 위치를 동일하게 처리하는 대신, 픽셀 단위로 공간적으로 다양해지는 계산 할당을 학습함으로써 적응형 추론을 가능하게 하기 위함.
• 기존 모델에 쉽게 통합할 수 있도록 아키텍처 및 작업에 관계없이 일반적인 메커니즘을 개발하기 위함.
• 계산 오버헤드를 증가시키지 않으면서도 동적 풀링 필드와 선택적 계산 경로를 학습함으로써 성능 트레이드오프를 향상시키기 위함.
• 픽셀 수준의 동적 계산 할당이 의미 분할 및 깊이 추정과 같은 정밀 예측 작업에 유리한가를 입증하기 위함.

제안 방법

• Gumbel-Softmax 기법을 사용하여 엔드 투 엔드 학습이 가능한, 각 공간 위치별로 희박한 이진 마스크를 생성하는 미분 가능한 메커니즘인 픽셀 단위 주의적 게이팅(PAG)을 제안한다.
• 잔차 신경망의 여러 층에 PAG 유닛을 삽입하여 입력에 따라 달라지는 동적 계산 경로를 학습하며, 각 층에서 선택된 공간 위치들만 처리한다.
• 희박성 하이퍼파rameter를 사용하여 각 층에서 활성화된 공간 위치의 평균 수를 제어함으로써 계산 예산에 대한 명시적 제어를 가능하게 한다.
• PAG를 사용하여 각 픽셀별로 풀링 필드 크기를 동적으로 선택함으로써 고정 또는 다중 척도 풀링을 대체하는 학습 가능한 적응형 집계 메커니즘을 도입한다.
• PAG를 활용한 MultiPool 모듈의 단계별 학습 전략을 적용하여, 주의 맵이 정보 흐름을 제약하고 특징 융합을 향상시킨다.
• 강화 학습을 사용하지 않고 표준 작업별 손실 함수(예: 교차 엔트로피, L1 손실)를 사용하여 모델을 학습하며, FLOPs와 관련된 단순한 희박성 목표를 기반으로 한다.

실험 결과

연구 질문

• RQ1 계산 비용 증가 없이 픽셀 수준에서 공간적으로 다양해지는 동적 계산 할당이 픽셀 레이블링 작업의 성능 향상에 기여하는가?
• RQ2 정보가 많은 공간 위치들만 선택적으로 처리하도록 학습하는 것이 고정 깊이 또는 층 건너뛰기 전략에 비해 더 나은 정확도-계산 트레이드오프를 이끌어내는가?
• RQ3 PAG가 계산 비용 효율적인 방식으로 각 픽셀별로 풀링 필드 크기를 적응적으로 학습하여 수용 영역 모델링을 향상시킬 수 있는가?
• RQ4 PAG는 의미 분할, 경계 검출, 단안 깊이, 표면 법선 추정과 같은 다양한 픽셀 레이블링 작업에서 어떻게 성능을 발휘하는가?
• RQ5 PAG의 동적 추론 메커니즘을 통해 FLOPs를 얼마나 줄일 수 있으며, 경쟁력 있는 성능를 유지할 수 있는가?

주요 결과

• PAG는 평균적으로 작업 전반에서 FLOPs를 최대 30%까지 줄였으며, 정확도 저하가 3–5% 이내로 발생하여 계산 제약 조건 하에서 유연한 성능 저하를 보였다.
• Cityscapes 및 Stanford-2D-3D 데이터셋에서 PAG가 포함된 MultiPool는 베이스라인 모델을 능가하며 의미 분할 및 표면 법선 추정에서 최신 기술을 초월했다.
• PAG가 향상시킨 MultiPool 모듈은 정확도와 강건성 측면에서 가중 평균 융합 기반 베이스라인(MP@Res5 w-Avg.)을 모두 능가했으며, 특히 대규모 시각적 이미지에서 두드러진 성능 향상을 보였다.
• 표면 법선 추정 작업에서, 모델은 Stanford-2D-3D에서 평균 각도 오차 16.5°, NYUv2에서 21.7°를 기록했으며, 다중 작업 학습이나 대규모 데이터 증강 기법 없이도 Eigen [12] 및 Wang [53]와 같은 기존 방법들을 능가했다.
• 정성적 분석 결과, PAG 주의 맵은 객체 경계, 깊이 불연속성, 법선 불연속성과 같은 주목할 만한 영역에 계산을 집중시키며 효과적인 동적 할당을 확인했다.
• 추가 학습 이미지를 사용하지 않아도(기존 방법들이 약 10만 장의 추가 이미지를 필요로 함) 단안 깊이 추정에서 강력한 성능를 유지했으며, 간단한 학습 설정으로도 경쟁 가능한 결과를 달성했다.