[논문 리뷰] Entropy Non-increasing Games for the Improvement of Dataflow Programming

Norbert Bátfai, Renátó Besenczi외 2명|arXiv (Cornell University)|2017. 02. 14.

Parallel Computing and Optimization Techniques인용 수 1

한 줄 요약

이 논문은 텐서플로우 기반 데이터플로우 프로그래밍을 향상시키기 위해 최적의 신경망 아키텍처를 탐색하는 방식을 게임화한 새로운 이스포츠 게임 프레임워크인 Samu 엔트로피를 소개한다. 텐서플로우 계산 그래프를 다중 사용자 게임 환경에 통합함으로써(‘페이스 배틀’ 프로토타입을 통해 구현), 비전문가 플레이어들이 직관적인 AI 기반 게임플레이나를 통해 모델을 개선할 수 있게 하며, 모델 진화 과정에서 엔트로피가 증가하지 않는 행동을 달성하고, 교차 엔트로피와 분류 정확도를 기반으로 한 새로운 지표를 통해 정보 정확도를 향상시킨다.

ABSTRACT

In this article, we introduce a new conception of a family of esport games called Samu Entropy to try to improve dataflow program graphs like the ones that are based on Google's TensorFlow. Currently, the Samu Entropy project specifies only requirements for new esport games to be developed with particular attention to the investigation of the relationship between esport and artificial intelligence. It is quite obvious that there is a very close and natural relationship between esport games and artificial intelligence. Furthermore, the project Samu Entropy focuses not only on using artificial intelligence, but on creating AI in a new way. We present a reference game called Face Battle that implements the Samu Entropy requirements.

연구 동기 및 목표

• 전문가 중심의 AI 개발과 일반 대중의 참여 간 격차를 해소하기 위해 기계학습을 위한 게임화된 인터페이스를 만들기.
• 이스포츠 게임이 계산 엔트로피 증가를 억제하는 방식으로 딥러닝 아키텍처를 정교화하고 진화시킬 수 있는지 조사하기.
• 비전문가 사용자가 직관적인 게임 기반 상호작용을 통해 AI 모델 최적화에 의미 있는 기여를 할 수 있도록 하는 프레임워크—Samu 엔트로피—개발하기.
• 게임 기반 인간 중심의 계산 그래프 정교화가 모델 성능을 향상시키면서도 학습 과정에서 엔트로피를 유지하거나 감소시킬 수 있는지 보여주기.

제안 방법

• 프레임워크는 다섯 가지 아키타입을 도입한다: Samu(뇌)는 텐서플로우 그래프를 실행하기 위해, Gréta(건축가)는 모델 편집 및 튜닝을 위해, Nándi(교사)는 지도 학습을 위해, Matyi(사냥사)는 데이터 수집을 위해, Erika(전사)는 경쟁적 평가를 위해.
• 분류 정확도(±1)를 기반으로 한 가중치를 활용해 로그 확률 손실의 가중합으로 정의된 새로운 지표인 '정보 정확도'(infoacc)를 도입함으로써, 모델 성능 평가에 더 세밀한 평가를 가능하게 한다.
• Face Battle 게임 프로토타입은 MNIST 튜토리얼 그래프를 사용하며, 플레이어들이 반복적인 모델 튜닝을 통해 얼굴 인식 정확도를 향상시키는 방식으로 경쟁한다.
• 시스템은 계산 그래프를 게임 보드로 시각화하며, 게임 메커니즘은 모델 업데이트와 성능 피드백과 연결된다.
• 프레임워크는 텐서플로우와 통합되어 있으며, 표준 API를 사용해 텐서 연산을 통해 확률, 로그 확률, 그리고 정보 정확도 지표를 계산한다.
• 정보 이론 원칙에 따라 모델 업데이트를 정렬함으로써 엔트로피 증가를 방지하며, 정확한 예측은 불확실성을 감소시키고 시스템을 안정화시킨다.

실험 결과

연구 질문

• RQ1 비전문가 사용자가 게임 인터페이스를 통해 계산 그래프를 어떻게 시각화하고 조작할 수 있는가?
• RQ2 기계학습 모델과의 게임화된 상호작용이, 슈뢰딩거가 기술한 생명체와 유사하게 엔트로피가 증가하지 않는 행동을 이끌 수 있는가?
• RQ3 비전문가 플레이어가 직관적이고 경쟁적인 게임플레이나를 통해 얼마나 깊이 있는 딥러닝 모델 성능 향상을 이룰 수 있는가?
• RQ4 정보 이론적 지표인 '정보 정확도'는 게임 환경에서 모델 정교화를 이끌고 평가하는 데 어떻게 활용될 수 있는가?
• RQ5 Samu 엔트로피와 같은 게임 기반 프레임워크는 확장 가능하고 일반 대상이 이용 가능한 도구로서 AI 개발을 가속화하는 데 기여할 수 있는가?

주요 결과

• 정보 정확도(infoacc) 지표는 분류 정확도와 로그 확률 손실을 결합함으로써 모델 성능을 효과적으로 캡처하며, 표준 정확도보다 더 민감한 평가를 제공한다.
• infoacc 지표는 형태는 표준 정확도 곡선과 유사하지만, 다양한 배치 크기에서도 일관된 행동을 보이며 동적 범위가 재스케일링된 곡선을 생성한다.
• 시스템은 전체 MNIST 텐서플로우 계산 그래프를 게임 보드로 성공적으로 시각화하여 플레이어가 모델 구성 요소와 상호작용할 수 있도록 했다.
• 게임화된 인터페이스를 통해 비전문가 사용자가 게임 플레이나를 통해 모델 아키텍처와 하이퍼파라미터에 영향을 줄 수 있으며, 이는 AI 개발에 대한 일반 대중의 참여 가능성을 시사한다.
• 프레임워크는 게임 플레이나를 통한 모델 정교화가 엔트로피를 유지하거나 감소시킬 수 있음을 보여주며, 슈뢰딩거의 생명을 엔트로피가 증가하지 않는 시스템으로서의 개념과 일치한다.
• Face Battle 프로토타입은 텐서플로우 그래프의 경쟁적이고 인간이 이끄는 튜닝이 모델 성능 향상에 측정 가능한 기여를 한다는 것을 보여주며, Samu 엔트로피 프레임워크의 核심 개념을 검증한다.