[논문 리뷰] Deep Layer Aggregation

Fisher Yu, Dequan Wang외 2명|arXiv (Cornell University)|2017. 07. 20.

Face and Expression Recognition참고 문헌 54인용 수 34

한 줄 요약

이 논문은 깊이 있는 컨volution 네트워크에서 계층 간 특징 융합을 향상시키기 위해 반복적이고 계층적인 스위프트 연결을 통해 특징을 통합하는 새로운 아키텍처 프레임워크인 딥 레이어 아그리게이션(DLA)을 제안한다. 다양한 네트워크 깊이에서 유도된 특징의 더 깊고 다중 척도의 융합을 가능하게 함으로써, 파라미터 수와 메모리 사용량을 줄이며 정확도와 해상도를 향상시켜, 아키텍처 재설계 없이 이미지 분류, 세그멘테이션, 경계 검출 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Visual recognition requires rich representations that span levels from low to high, scales from small to large, and resolutions from fine to coarse. Even with the depth of features in a convolutional network, a layer in isolation is not enough: compounding and aggregating these representations improves inference of what and where. Architectural efforts are exploring many dimensions for network backbones, designing deeper or wider architectures, but how to best aggregate layers and blocks across a network deserves further attention. Although skip connections have been incorporated to combine layers, these connections have been "shallow" themselves, and only fuse by simple, one-step operations. We augment standard architectures with deeper aggregation to better fuse information across layers. Our deep layer aggregation structures iteratively and hierarchically merge the feature hierarchy to make networks with better accuracy and fewer parameters. Experiments across architectures and tasks show that deep layer aggregation improves recognition and resolution compared to existing branching and merging schemes. The code is at https://github.com/ucbdrive/dla.

연구 동기 및 목표

• 현대의 깊은 네트워크에서 浅층 스위프트 연결의 한계를 해결하기 위해, 깊이, 척도, 해상도 전반에 걸쳐 계층적 특징 표현을 충분히 활용하지 못하는 문제를 해결한다.
• 다양한 계층에서 유도된 특징의 더 깊고 체계적인 융합을 통해, 의미적 이해와 공간 정밀도를 모두 향상시킨다.
• 기존의 백본(예: ResNet, DenseNet)과 호환되는 일반적인 아키텍처 확장 기능을 설계하여, 다시 학습 없이도 성능 향상을 이룬다.
• 더 깊은 융합이 더 낮은 파라미터 수와 메모리 사용량으로도 더 나은 인식 및 국소화 성능을 제공함을 입증한다.

제안 방법

• 두 가지 핵심 구조를 제안한다: 단계별로 해상도와 척도를 정밀하게 조정하기 위한 반복적 깊은 융합(IDA), 그리고 트리 구조적 연결을 통해 모듈과 채널 간 특징을 융합하는 계층적 깊은 융합(HDA).
• IDA에서 반복적이고 다단계의 융합을 통해 기초 네트워크에서 시작하여 각 단계에서 공간 해상도를 점진적으로 개선한다.
• HDA는 단계와 채널을 가로질러 특징을 교차하고 융합하는 계층적 트리 기반 스위프트 연결 패턴을 생성하여 더 깊은 정보 흐름을 가능하게 한다.
• IDA와 HDA를 통합한 유일한 프레임워크로, 아키텍처의 대대적인 수정 없이도 ResNet, ResNeXt 등 어떤 백본 네트워크에도 적용 가능하다.
• 표준 학습 프rotocol과 다중 척도 추론을 사용하여 이미지 분류, 세그멘테이션, 경계 검출 등의 표준 작업에 프레임워크를 적용한다.
• 일반화와 수렴을 향상시키기 위해 다항 학습률 스케줄, 모멘텀, 데이터 증강(임의의 회전 및 스케일링)을 적용한다.

실험 결과

연구 질문

• RQ1 표준 스위프트 연결을 초월해, 계층 간 더 깊고 체계적인 특징 융합이 인식 정확도와 해상도 향상에 기여하는가?
• RQ2 계층적이고 반복적인 특징 융합은 기존의 분기 및 융합 기반 기법과 비교해 성능 및 효율성 면에서 어떻게 다른가?
• RQ3 일반적인 융합 프레임워크가 다양한 데이터셋에서 분류, 세그멘테이션, 경계 검출 등의 다양한 작업에 얼마나 높은 수준의 성능 향상을 이끌 수 있는가?
• RQ4 더 깊은 융합이 특징 활용을 향상시켜 넓은 또는 더 깊은 백본의 필요성을 줄일 수 있는가?
• RQ5 추가 데이터나 복잡한 후처리에 의존하지 않고도 DLA가 컴act 모델에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DLA-34는 파라미터 수가 적은 컴팩트 모델 중에서 ImageNet 분류 작업에서 최신 기술 수준의 정확도를 달성하며, ResNet 및 DenseNet 변종을 모두 앞선다.
• Cityscapes 세그멘테이션 작업에서 DLA는 최신 기술 수준의 성능을 기록했으며, 동일한 다중 척도 추론 환경에서 RefineNet 대비 mIoU가 2점 이상 향상되었다.
• PASCAL Boundaries 작업에서 DLA-102는 최고의 ODS(0.766)와 OIS(0.754) 점수를 기록하여 HED 및 기타 최신 기술 기법을 압도했으며, PASCAL 데이터로 훈련했을 때 이전 작업 대비 10%의 상대적 향상률을 기록했다.
• BSDS에서 DLA는 인간 수준의 성능에 가장 가까운 정밀도-재현율 곡선을 기록했으며, 공준 기반 진짜값의 한계로 인해 AP는 낮지만, 공간 국소화 능력이 뛰어나다는 것을 시사한다.
• 2s 스트라이드를 사용한 DLA-34는 PASCAL Boundaries에서 ODS 0.754를 기록했으며, 추가 데이터나 다중 척도 앙상블로 훈련한 모델조차도 이를 뛰어넘었다.
• 제거 분석 결과, 높은 해상도 출력(예: 2s 스트라이드)이 경계 검출에 매우 중요하며, 일정 깊이를 초과하면 더 깊은 네트워크가 성능 향상에 기여하지 못한다는 점을 확인하여, 깊이만으로는 성능 향상이 불가능하고 해상도의 중요성이 핵심임을 입증했다.