[논문 리뷰] HybridNets: End-to-End Perception Network

Dat Vu, Bao Ngo외 1명|arXiv (Cornell University)|2022. 03. 17.

Advanced Neural Network Applications인용 수 68

한 줄 요약

HybridNets는 교통 물체 탐지, 주행 가능 영역 세분화, 차선 탐지를 위한 엔드투엔드 멀티태스킹 인지 네트워크를 제시하며, 최적화된 헤드 네트워크, 적응형 앵커, 그리고 균형 학습 전략을 통해 높은 정확도와 실시간 성능을 달성합니다.

ABSTRACT

End-to-end Network has become increasingly important in multi-tasking. One prominent example of this is the growing significance of a driving perception system in autonomous driving. This paper systematically studies an end-to-end perception network for multi-tasking and proposes several key optimizations to improve accuracy. First, the paper proposes efficient segmentation head and box/class prediction networks based on weighted bidirectional feature network. Second, the paper proposes automatically customized anchor for each level in the weighted bidirectional feature network. Third, the paper proposes an efficient training loss function and training strategy to balance and optimize network. Based on these optimizations, we have developed an end-to-end perception network to perform multi-tasking, including traffic object detection, drivable area segmentation and lane detection simultaneously, called HybridNets, which achieves better accuracy than prior art. In particular, HybridNets achieves 77.3 mean Average Precision on Berkeley DeepDrive Dataset, outperforms lane detection with 31.6 mean Intersection Over Union with 12.83 million parameters and 15.6 billion floating-point operations. In addition, it can perform visual perception tasks in real-time and thus is a practical and accurate solution to the multi-tasking problem. Code is available at https://github.com/datvuthanh/HybridNets.

연구 동기 및 목표

• 주행 시나리오에 대한 엔드-투-엔드 멀티태스크 인지 네트워크를 연구한다.
• 가중치 양방향 피처 네트워크를 기반으로 효율적인 세분화 헤드 및 박스/클래스 예측 네트워크를 제안한다.
• 가중치 양방향 피처 네트워크의 각 레벨에서 자동으로 맞춤화된 앵커를 도입한다.
• 멀티태스크 최적화를 균형 있게 학습하기 위한 효율적인 학습 손실 및 전략을 개발한다.
• 교통 물체 탐지, 주행 가능 영역 세분화, 차선 탐지에서 멀티태스크 성능을 입증한다.

제안 방법

• 가중치 양방향 피처 네트워크를 기반으로 한 효율적 세분화 헤드 및 박스/클래스 예측 네트워크.
• 가중치 양방향 피처 네트워크의 각 레벨에서 자동으로 앵커를 맞춤화한다.
• 학습 간 균형을 맞추기 위한 최적화된 학습 손실 함수와 전략.
• 교통 물체 탐지, 주행 가능 영역 세분화, 차선 감지를 동시 수행하는 엔드투엔드 프레임워크.
• 전통 기술과 비교한 Berkeley DeepDrive Dataset에서의 평가 및

실험 결과

연구 질문

• RQ1 엔드투엔드 멀티태스크 인지 네트워크가 기존 접근법에 비해 탐지, 주행 가능 영역 세분화, 차선 탐지의 정확성을 향상시킬 수 있는가?
• RQ2 가중치 양방향 피처 네트워크와 맞춤화된 앵커가 각 작업의 성능과 효율성을 향상시키는가?
• RQ3 제안된 학습 전략이 멀티태스크 최적화를 균형 있게 하고 실시간 추론을 가능하게 하는가?

주요 결과

• HybridNets는 Berkeley DeepDrive Dataset에서 77.3 평균 정밀도(mean Average Precision)를 달성한다.
• 차선 탐지는 31.6 평균 교집합/합집합(IoU)을 달성한다.
• 모델은 12.83백만 매개변수와 15.6 빌리언 FLOPs를 사용한다.
• 이 접근법은 실시간으로 작동하여 다중 작업 주행 인지에 실용적이다.
• HybridNets의 코드가 제공된 URL에서 이용 가능하다.