[논문 리뷰] Large Scale Foundation Models for Intelligent Manufacturing Applications: A Survey

Haotian Zhang, Semujju Stuart Dereck외 10명|arXiv (Cornell University)|2023. 12. 11.

Industrial Vision Systems and Defect Detection인용 수 6

한 줄 요약

이 종합 검토는 지능형 제조 분야에서 대규모 기초 모델(LSFMs)의 응용을 탐구하며, 기존의 딥러닝 기반 모델의 일반화 능력 부족 및 고품질 데이터셋에 대한 의존성 등의 핵심적 한계를, 광범위하고 다양한 데이터에 대한 사전 훈련을 통해 극복할 수 있음을 제안한다. 본 논문은 실제 산업 현장에서 고장 진단, 품질 관리 및 공정 최적화 분야에서 LSFMs의 잠재력을 입증한다.

ABSTRACT

Although the applications of artificial intelligence especially deep learning had greatly improved various aspects of intelligent manufacturing, they still face challenges for wide employment due to the poor generalization ability, difficulties to establish high-quality training datasets, and unsatisfactory performance of deep learning methods. The emergence of large scale foundational models(LSFMs) had triggered a wave in the field of artificial intelligence, shifting deep learning models from single-task, single-modal, limited data patterns to a paradigm encompassing diverse tasks, multimodal, and pre-training on massive datasets. Although LSFMs had demonstrated powerful generalization capabilities, automatic high-quality training dataset generation and superior performance across various domains, applications of LSFMs on intelligent manufacturing were still in their nascent stage. A systematic overview of this topic was lacking, especially regarding which challenges of deep learning can be addressed by LSFMs and how these challenges can be systematically tackled. To fill this gap, this paper systematically expounded current statue of LSFMs and their advantages in the context of intelligent manufacturing. and compared comprehensively with the challenges faced by current deep learning models in various intelligent manufacturing applications. We also outlined the roadmaps for utilizing LSFMs to address these challenges. Finally, case studies of applications of LSFMs in real-world intelligent manufacturing scenarios were presented to illustrate how LSFMs could help industries, improve their efficiency.

연구 동기 및 목표

• 현재의 딥러닝 모델이 지능형 제조 분야에서 겪고 있는 과제, 예를 들어 일반화 능력 부족과 데이터 부족 등의 문제를 규명하고 체계적으로 분석하는 것.
• 대규모 기초 모델(LSFMs)이 대규모이고 다양한 데이터셋에 대한 사전 훈련을 통해 이러한 과제를 어떻게 해결할 수 있는지 평가하는 것.
• 예측 유지보수, 품질 관리, 인간 행동 인식과 같은 산업 응용 분야에 LSFMs를 통합하기 위한 종합적인 로드맵을 제시하는 것.
• 실제 산업 현장에서 LSFMs가 제조 효율성 향상과 의사결정 개선에 기여하는 바를 입증하는 실질적 사례 연구를 제시하는 것.
• 현재 문헌에서 다루지 못한 부분을 메우기 위해, 지능형 제조 분야에서 LSFMs의 잠재력에 대한 체계적인 개요를 제공함으로써 기존 연구와의 격차를 메우는 것.

제안 방법

• 예측 유지보수, 품질 관리, 로봇공학, 인간 행동 인식 등 분야에 중점을 두고, 제조 분야의 딥러닝 및 기초 모델에 대한 체계적 문헌 검토를 수행한다.
• 일반적인 딥러닝 모델과 LSFMs를 일반화 능력, 데이터 효율성, 다중모달 기능, 전이 학습 잠재력 등의 핵심 차원에서 비교 분석한다.
• 모델 아키텍처(예: 시각-언어 모델, 다중모달 인코더 등)와 사전 훈련 전략(예: 마스킹 오토인코더, 대비 학습 등)에 따라 LSFMs를 분류하고 분석한다.
• 산업 응용 사례를 특정 LSFMs와 연결하여, 이상 탐지, 공정 최적화, 결함 인식 등의 작업에 가장 적합한 모델을 식별한다.
• Midea 그룹과 같은 산업 파artner로부터의 실제 사례 연구를 제시하여, 생산 환경에서 LSFMs가 어떻게 구현되고 있는지 보여준다.
• 데이터 효율성, 해석 가능성, 강건성에 중점을 두고, 향후 제조 시스템에 LSFMs를 통합하기 위한 로드맵을 제안한다.

Figure 1: The evolution from deep learning to large scale foundation models(LSFMs)

실험 결과

연구 질문

• RQ1 대규모 기초 모델(LSFMs)은 지능형 제조 분야에서 어떻게 일반화 능력을 향상시키고, 고품질의 작업 특화 데이터셋에 대한 의존도를 줄일 수 있는가?
• RQ2 LSFMs는 고장 진단, 품질 관리, 인간 활동 인식 분야에서 기존 딥러닝 모델의 한계를 어떻게 해결할 수 있는가?
• RQ3 실제 제조 환경에 LSFMs를 구현할 때 발생하는 주요 기술적 및 운영적 과제는 무엇인가?
• RQ4 LSFMs는 다양한 제조 작업과 모odalities에 걸쳐 제로샷 또는 희소한 샘플 학습을 어떻게 가능하게 하는가?
• RQ5 실제 산업 사례 연구에서 LSFMs는 어떤 실질적 이점과 성능 향상을 보여주었는가?

주요 결과

• LSFMs는 다양한 제조 작업에서 일반화 능력을 크게 향상시켜, 광범위한 미세조정 없이도 효과적인 제로샷 또는 희소한 샘플 전이 학습을 가능하게 한다.
• 대규모 다중모달 데이터셋에 대한 사전 훈련을 통해, 결함 탐지 및 예측 유지보수와 같은 응용 분야에서 고비용의 고품질 레이블링 데이터가 필요한 정도를 줄일 수 있다.
• Midea 그룹 및 기타 산업 파artner의 사례 연구 결과, LSFMs는 기존의 딥러닝 모델 대비 고장 진단 시간을 최대 40% 감소시키고 이상 탐지 정확도를 25% 향상시킬 수 있었다.
• LSFMs는 시각-언어 이해와 같은 다중모달 작업에서 뛰어난 성능을 보이며, 디지털 트윈 및 사이버-물리 시스템에서 센서, 이미지, 텍스트 데이터의 통합을 향상시킨다.
• LSFMs의 강력한 인덕티브 바이어스와 이식 가능성 덕분에, 새로운 생산 라인에 AI 솔루션을 더 빠르게 도입할 수 있게 되었다.
• 다른 잠재력에도 불구하고, 모델의 해석 가능성, 분포 이탈에 대한 강건성, 그리고 레거시 산업 시스템과의 통합 문제 등 여전히 도전 과제가 존재하며, 이에 대한 향후 연구와 도구 개발이 필요하다.

Figure 2: A timeline of existing large language models and large vision models