[논문 리뷰] Designing Network Design Strategies Through Gradient Path Analysis

Chien-Yao Wang, Hong-Yuan Mark Liao외 1명|arXiv (Cornell University)|2022. 11. 09.

Machine Learning and ELM인용 수 179

한 줄 요약

이 논문은 Gradient-path 기반 네트워크 설계를 주장하며, gradient 다양성을 극대화하고 학습 효율성을 개선하기 위해 레이어-, 스테이지- 및 네트워크 수준 전략(PRN, CSPNet, ELAN)을 제안한다.

ABSTRACT

Designing a high-efficiency and high-quality expressive network architecture has always been the most important research topic in the field of deep learning. Most of today's network design strategies focus on how to integrate features extracted from different layers, and how to design computing units to effectively extract these features, thereby enhancing the expressiveness of the network. This paper proposes a new network design strategy, i.e., to design the network architecture based on gradient path analysis. On the whole, most of today's mainstream network design strategies are based on feed forward path, that is, the network architecture is designed based on the data path. In this paper, we hope to enhance the expressive ability of the trained model by improving the network learning ability. Due to the mechanism driving the network parameter learning is the backward propagation algorithm, we design network design strategies based on back propagation path. We propose the gradient path design strategies for the layer-level, the stage-level, and the network-level, and the design strategies are proved to be superior and feasible from theoretical analysis and experiments.

연구 동기 및 목표

• 역전파 과정에서 목표 함수가 기울기 흐름에 미치는 영향을 분석하여 네트워크 설계 전략을 재정의한다.
• 레이어-, 스테이지-, 및 네트워크 수준의 아키텍처를 제안하여 기울기 조합과 전파 효율성을 극대화한다.
• 전통적인 데이터 경로 설계에 비해 gradient-path 설계의 이론적 및 실험적 이점을 보여준다.

제안 방법

• 역방향 기울기를 순방향 특징 경로만으로 보지 않고 분석하는 gradient path 설계 전략을 도입한다.
• 마스킹된 비대칭 잔차 계층을 갖는 부분 잔차 네트워크(PRN)를 개발하여 기울기 조합을 증가시킨다.
• Cross Stage Partial Network (CSPNet) 설계로 gradient 소스와 타임스탬프를 최대화하고 하드웨어 효율성을 개선한다.
• 네트워크 확장 시 기울기 전파 경로를 최적화하기 위한 Efficient Layer Aggregation Network (ELAN)를 제안한다.
• 기울기 타임스탬프와 기울기 소스를 통한 기울기 조합을 분석하여 성능 향상을 설명한다.
• MS COCO에서 YOLOR-v3/YOLO-v5 baselines를 사용한 차등 실험(ablation)을 통해 gradient-path 설계와 데이터-path 베이스라인을 비교한다.

실험 결과

연구 질문

• RQ1 CNN에서 gradient propagation path가 학습 효율성과 매개변수 활용에 어떤 영향을 미치는가?
• RQ2 레이어-, 스테이지-, 및 네트워크 수준의 gradient-path 설계가 전통적 데이터-path 설계에 비해 정확도와 속도에서 측정 가능한 이점을 제공할 수 있는가?
• RQ3 아키텍처 전반에 걸친 네트워크 성능에 대한 gradient 타임스탬프와 gradient 소스의 영향은 무엇인가?
• RQ4 PRN, CSPNet, ELAN이 물체감지 및 인스턴스 분할 벤치마크에서 어떻게 수행하는가?

주요 결과

• PRN은 COCO에서 YOLOR-v3 대비 객체 탐지 AP를 0.5 포인트, 인스턴스 분할 AP를 0.1/0.3 포인트 향상시킨다.
• CSPNet은 FLOPs를 최대 30%까지 줄이고 물체 탐지에서 예를 들어 AP를 1.5% 향상시킬 수 있으며 속도를 유지하거나 향상시킨다.
• ELAN은 YOLOR-ELAN 구성에서 최대 0.7% AP 이득을 얻고 계산량이 35% 감소한다.
• 스톱-그라디언트(ablation) 실험은 그래디언트 경로를 단축시키면 심층 네트워크의 수렴이 개선될 수 있음을 보여준다.
• PRN, CSPNet, ELAN의 실험에서 COCO에서 기준 아키텍처 대비 일관된 이득을 보여준다.