[논문 리뷰] TensorFlow with user friendly Graphical Framework for object detection API

Heemoon Yoon, Sanghee Lee외 1명|arXiv (Cornell University)|2020. 06. 11.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 Tensorflow Object Detection API를 위한 사용자 친화적인 GUI인 TensorFlow Graphical Framework(TF-GraF)를 소개한다. TF-GraF는 코드나 명령줄 인터페이스 없이도 데이터 전처리, 모델 훈련, 평가 및 추론을 수행할 수 있도록 한다. 여러 모델(SSD, Faster R-CNN 등)을 지원하고 실시간 모니터링이 가능한 시각적 상호작용 환경을 제공함으로써, 딥러닝 전문가가 아닌 사용자들이 접근하기 쉬운 환경을 조성하며, 복잡한 설정을 자동으로 관리한다.

ABSTRACT

TensorFlow is an open-source framework for deep learning dataflow and contains application programming interfaces (APIs) of voice analysis, natural language process, and computer vision. Especially, TensorFlow object detection API in computer vision field has been widely applied to technologies of agriculture, engineering, and medicine but barriers to entry of the framework usage is still high through command-line interface (CLI) and code for amateurs and beginners of information technology (IT) field. Therefore, this is aim to develop an user friendly Graphical Framework for object detection API on TensorFlow which is called TensorFlow Graphical Framework (TF-GraF). The TF-GraF provides independent virtual environments according to user accounts in server-side, additionally, execution of data preprocessing, training, and evaluation without CLI in client-side. Furthermore, hyperparameter setting, real-time observation of training process, object visualization of test images, and metrics evaluations of test data can also be operated via TF-GraF. Especially, TF-GraF supports flexible model selection of SSD, Faster-RCNN, RFCN, and Mask-RCNN including convolutional neural networks (inceptions and ResNets) through GUI environment. Consequently, TF-GraF allows anyone, even without any previous knowledge of deep learning frameworks, to design, train and deploy machine intelligence models without coding. Since TF-GraF takes care of setting and configuration, it allows anyone to use deep learning technology for their project without spending time to install complex software and environment.

연구 동기 및 목표

• IT 분야의 비전문가 및 초보자들이 Tensorflow Object Detection API를 사용할 때 높은 진입 장벽을 줄이기 위해.
• 모델 훈련 및 추론을 위해 명령줄 인터페이스나 수동 코드 설정에 의존하지 않도록 하기 위해.
• 서버 측에서 사용자별로 고립된 가상 환경을 제공하여 공동 사용과 확장성을 확보하기 위해.
• GUI를 통해 SSD, Faster R-CNN, RFCN, Mask R-CNN 등 다양한 모델을 선택할 수 있도록 유연한 모델 선택 기능을 제공하기 위해.
• 코드 없이도 훈련 과정의 실시간 모니터링, 객체 검출 결과의 시각화, 메트릭 평가 기능을 제공하기 위해.

제안 방법

• 사용자 계정과 고립된 가상 환경을 관리하기 위해 서버에 호스팅된 웹 기반 그래픽 인터페이스를 설계하기 위해.
• CLI 상호작용 없이도 데이터 전처리, 모델 훈련, 평가 워크플로우를 처리할 수 있는 백엔드 서비스를 구현하기 위해.
• Tensorflow Object Detection API를 GUI 기반 파이프라인과 통합하여 하이퍼파라미터 설정 및 모델 선택을 가능하게 하기 위해.
• 모델 훈련 중에 훈련 손실과 검출 결과를 실시간으로 시각화할 수 있도록 기능을 제공하기 위해.
• GUI 내에서 드롭다운 기반의 모델 선택을 통해 Inception, ResNet 등 다양한 딥러닝 아키텍처를 지원하기 위해.
• 환경 설정과 종속성 관리를 자동화하여 로컬 설치의 복잡성을 제거하기 위해.

실험 결과

연구 질문

• RQ1 그래픽 인터페이스는 비전문가 사용자가 Tensorflow의 Object Detection API를 사용할 때의 학습 곡선을 어떻게 줄일 수 있는가?
• RQ2 코드 없이도 종단 간 객체 검출 워크플로우를 지원하기 위해 GUI에서 필수적인 기능은 무엇인가?
• RQ3 서버 측 가상 환경 모델은 다수의 사용자에게 대해 보안성과 확장성을 보장할 수 있는가?
• RQ4 GUI 기반 접근 방식은 훈련 및 추론 과정의 실시간 모니터링과 시각화 기능을 얼마나 효과적으로 제공할 수 있는가?
• RQ5 GUI 기반 접근 방식은 객체 검출을 위한 딥러닝 모델 훈련 및 평가 워크플로우에서 명령줄 워크플로우를 어느 정도 대체할 수 있는가?

주요 결과

• TF-GraF는 사용자가 명령줄 작업 없이도 데이터 전처리, 모델 훈련, 평가를 모두 GUI를 통해 수행할 수 있도록 성공적으로 구현하였다.
• 이 프레임워크는 SSD, Faster R-CNN, RFCN, Mask R-CNN와 같은 최신 기술 기반 모델을 지원하며, 인터페이스를 통해 하이퍼파라미터를 구성할 수 있다.
• GUI 내에서 훈련 과정의 실시간 모니터링과 테스트 이미지에 대한 검출 결과의 시각화가 내장된 방식으로 지원된다.
• 시스템은 복잡한 환경 설정을 자동으로 관리하여 사용자가 모델 설계와 실험에 집중할 수 있도록 한다.
• TF-GraF의 소스코드는 공개되어 있어 접근성과 커뮤니티의 수용을 촉진한다.
• 딥러닝 경험 없이도 코드를 작성하지 않고도 사용자가 객체 검출 모델을 배포하고 실험할 수 있게 되었다.