[논문 리뷰] Blurring the Line Between Structure and Learning to Optimize and Adapt Receptive Fields

Evan Shelhamer, Dequan Wang외 1명|arXiv (Cornell University)|2019. 04. 25.

Remote Sensing and LiDAR Applications참고 문헌 45인용 수 20

한 줄 요약

이 논문은 학습 가능한 가우시안 필터를 활용해 자유형 필터를 조합하여 수신 영역 크기, 형태, 국소성의 종합 최적화 및 적응을 엔드 투 엔드로 수행하는 반구조적 필터링 접근법을 제안한다. 가우시안 공분산 매개변수에 대한 미분을 통해 효율적이고 미분 가능한 수신 영역 탐색이 가능해져, Cityscapes에서 세분화 정확도를 최대 10점 향상시키며, 자유형 변형 정확도를 유지하면서도 파rameter 수를 크게 줄이고 효율성을 높인다.

ABSTRACT

The visual world is vast and varied, but its variations divide into structured and unstructured factors. We compose free-form filters and structured Gaussian filters, optimized end-to-end, to factorize deep representations and learn both local features and their degree of locality. Our semi-structured composition is strictly more expressive than free-form filtering, and changes in its structured parameters would require changes in free-form architecture. In effect this optimizes over receptive field size and shape, tuning locality to the data and task. Dynamic inference, in which the Gaussian structure varies with the input, adapts receptive field size to compensate for local scale variation. Optimizing receptive field size improves semantic segmentation accuracy on Cityscapes by 1-2 points for strong dilated and skip architectures and by up to 10 points for suboptimal designs. Adapting receptive fields by dynamic Gaussian structure further improves results, equaling the accuracy of free-form deformation while improving efficiency.

연구 동기 및 목표

• 구조화된 표현 학습과 자유형 표현 학습 간 격차를 해소하기 위해 구조의 효율성과 학습의 표현력을 조합한다.
• 가우시안 필터의 미분 가능한 매개변수화를 통해 수신 영역 크기, 형태, 국소성을 엔드 투 엔드로 최적화할 수 있도록 한다.
• 고정된 수신 영역에 의존하는 아키텍처 의존도를 줄이기 위해 입력 콘텐츠에 반응하는 적응형, 동적 수신 영역을 학습한다.
• 모델 복잡성이나 계산 비용을 증가시키지 않고도 세분화 정확도를 향상시킨다.
• 구조적 매개변수화가 자유형 변형의 성능을 따라잡을 수 있으며, 파rameter 수와 계산 비용을 줄일 수 있음을 입증한다.

제안 방법

• 자유형 필터 $ f_{\theta} $ 와 구조화된 가우시안 필터 $ g_{\Sigma} $ 를 컨볼루션 $ * $ 를 통해 조합하여, 개별 구성 요소보다 더 표현력이 뛰어난 반구조적 필터 가족을 구성한다.
• 가우시안 필터는 공분산 행렬 $ \Sigma $ 로 매개변수화되며, 이는 낮은 차원에서 수신 영역 척도, 비율, 방향을 미분 가능한 방식으로 제어한다.
• $ \theta $ 와 $ \Sigma $ 의 공동 최적화를 통해 데이터로부터 수신 영역 특성을 학습하는 엔드 투 엔드 학습이 가능해지며, 수신 영역 특성이 수동으로 설계되는 것이 아니라 데이터로부터 학습된다.
• 공간적 위치별로 $ \Sigma $ 를 회귀시켜 동적 추론을 달성함으로써, 입력의 국소 척도 변화에 수신 영역이 적응할 수 있다.
• 단일 및 동적 가우시안 구조를 모두 지원하며, 구형, 대각선, 전체 공분산 옵션을 통해 자유도의 다양한 수준을 제공한다.
• 이론적으로는 척도-공간 이론과 신호 처리에 기반하여, 가우시안의 본질적 특성 덕분에 매끄럽고 앨리어싱을 방지한다.

실험 결과

연구 질문

• RQ1 자유형과 구조화된 필터를 조합한 하이브리드 필터링 프레임워크가 개별적으로 사용할 때보다 더 높은 표현력을 달성할 수 있는가?
• RQ2 딥 네트워크에서 가우시안 필터의 미분 가능한 매개변수를 통해 수신 영역 크기와 형태를 얼마나 잘 최적화할 수 있는가?
• RQ3 가우시안 공분산의 동적 적응이 국소 척도 변화가 있는 작업(예: 세분화)에서 성능 향상에 기여하는가?
• RQ4 구조적 매개변수화가 자유형 변형의 정확도를 따라잡을 수 있으며, 파rameter 수와 계산 비용을 줄일 수 있는가?
• RQ5 아키텍처적 수신 영역이 열악하거나 제약이 있을 경우 이 방법은 어떻게 성능을 내는가?

주요 결과

• 학습 가능한 가우시안 매개변수를 통한 수신 영역 크기 최적화로, 강력한 확장 및 스킵 아키텍처에서 Cityscapes 세분화 정확도가 1~2점 향상된다.
• 최적화되지 않은 네트워크 설계에서는 적절한 수신 영역 크기와 형태를 학습함으로써 최대 10점의 정확도 향상을 달성한다.
• 단일 척도 매개변수를 가진 동적 가우시안 변형은 Cityscapes 테스트 세트에서 74.3% mIoU를 달성하여 자유형 변형의 73.6%를 근소하게 뛰어넘으며, 훨씬 적은 파rameter를 사용한다.
• 구형 공분산(1개 자유도)만으로도 자유형 변형 정확도에 거의 근접하여 척도 모델링 자체만으로도 주요 성능 향상이 가능하다는 것을 시사한다.
• 이 방법은 아키텍처 제약에 강건하다: 수신 영역이 축소되거나 입력 해상도가 증가할 경우, 학습된 공분산이 효과적 수신 영역을 확대함으로써 보완한다.
• 조합은 안정적이고 일반화 가능하다: 항등 연산(변경 없음)이 학습 가능하며, 이 방법은 성능을 떨어뜨리지 않으며 항상 향상되거나 유지된다.