[논문 리뷰] Quality Control, Testing and Deployment Results in NIF ICCS

John P. Woodruff, D. Casavant외 2명|ArXiv.org|2001. 11. 06.

Laser Design and Applications참고 문헌 3인용 수 5

한 줄 요약

이 논문은 National Ignition Facility의 통합 컴퓨터 제어 시스템(NIF ICCS)을 위한 점진적 소프트웨어 개발 및 테스트 전략을 제시한다. 이 전략은 공식적인 테스트 주기, 소프트웨어 변경 제어 위원회(SCCB)를 통한 결함 추적, 연간 감사를 강조한다. 이 방법은 단계적 배포를 통해 100만 줄의 코드를 성공적으로 구현하였으며, 프로토타입 실험실에서 전체 시스템 통합을 검증하여 자동화된 테스트 및 수익가치, 결함 밀도와 같은 프로세스 제어 수단을 통해 최대 20J의 레이저 시스템을 신뢰성 있게 제어하는 데 성공했다.

ABSTRACT

The strategy used to develop the NIF Integrated Computer Control System (ICCS) calls for incremental cycles of construction and formal test to deliver a total of 1 million lines of code. Each incremental release takes four to six months to implement specific functionality and culminates when offline tests conducted in the ICCS Integration and Test Facility verify functional, performance, and interface requirements. Tests are then repeated on line to confirm integrated operation in dedicated laser laboratories or ultimately in the NIF. Test incidents along with other change requests are recorded and tracked to closure by the software change control board (SCCB). Annual independent audits advise management on software process improvements. Extensive experience has been gained by integrating controls in the prototype laser preamplifier laboratory. The control system installed in the preamplifier lab contains five of the ten planned supervisory subsystems and seven of sixteen planned front-end processors (FEPs). Beam alignment, timing, diagnosis and laser pulse amplification up to 20 joules was tested through an automated series of shots. Other laboratories have provided integrated testing of six additional FEPs. Process measurements including earned-value, product size, and defect densities provide software project controls and generate confidence that the control system will be successfully deployed.

연구 동기 및 목표

• 구조화된 점진적 개발 프로세스를 통해 NIF 통합 컴퓨터 제어 시스템(ICCS)의 신뢰성 있는 배포를 보장하기 위해.
• 대규모 레이저 시설을 제어하는 복잡성을 관리하기 위해 각 개발 주기에서 공식적인 테스트를 구현하기 위해.
• 테스트 사례 및 변경 요청의 체계적 추적을 통해 소프트웨어 품질 향상과 프로젝트 제어를 향상시키기 위해.
• 전체 규모의 배포 전에 실제 환경에서 제어 시스템의 성능과 통합을 검증하기 위해.
• 지속적인 프로젝트 감시와 배포에 대한 신뢰를 확보하기 위해 수익가치, 제품 크기, 결함 밀도와 같은 프로세스 메트릭스를 수립하기 위해.

제안 방법

• ICCS에서 특정 기능을 구현하고 테스트하기 위해 4~6개월 주기의 점진적 개발 사이클을 활용한다.
• 기능성, 성능 및 인터페이스 요구사항을 검증하기 위해 ICCS 통합 및 테스트 시설에서 오프라인 테스트를 수행한다.
• 통합된 운영을 확인하기 위해 전용 레이저 실험실에서 온라인으로 테스트를 반복하고, 최종적으로 NIF 시설에서 수행한다.
• 모든 테스트 사례 및 변경 요청을 소프트웨어 변경 제어 위원회(SCCB)를 통해 종료 시점까지 추적한다.
• 소프트웨어 개발 프로세스의 평가와 개선을 위해 연간 독립 감사를 실시한다.
• 실시간 프로젝트 제어와 배포에 대한 신뢰 확보를 위해 수익가치, 제품 크기, 결함 밀도와 같은 프로세스 측정치를 활용한다.

실험 결과

연구 질문

• RQ1 국가 수준 과학 시설을 위한 대규모 제어 시스템을 어떻게 고신뢰성으로 개발하고 테스트할 수 있는가?
• RQ2 점진적 개발과 공식적인 테스트가 복잡성을 관리하고 소프트웨어 품질을 확보하는 데 어떤 역할을 하는가?
• RQ3 결함 밀도 및 수익가치와 같은 프로세스 메트릭스는 소프트웨어 프로젝트 건강 상태를 모니터링하는 데 얼마나 효과적인가?
• RQ4 공식적인 변경 제어 및 감사 프로세스는 소프트웨어 개발 결과를 얼마나 향상시킬 수 있는가?
• RQ5 프로토타입 및 전체 규모의 레이저 시설에서 제어 시스템의 통합 및 배포가 성공적으로 이루어졌다는 증거는 무엇인가?

주요 결과

• 점진적 개발 및 테스트 전략은 NIF ICCS에 대해 고신뢰성으로 100만 줄의 코드를 성공적으로 구현하였다.
• 프리앰플리파이어 실험실의 제어 시스템은 5개의 감시 서브시스템과 7개의 프론트엔드 프로세서(FEP)를 포함하여 최대 20J까지 레이저 펄스 증폭, 비추상화, 타이밍, 진단 기능을 성공적으로 구현하였다.
• 추가로 6개의 FEP가 다른 실험실에서 통합 및 테스트되어 확장성과 상호운용성의 가능성을 확인하였다.
• 수익가치, 제품 크기, 결함 밀도와 같은 프로세스 측정치의 활용은 프로젝트 진행 상황과 소프트웨어 품질에 대한 측정 가능한 신뢰를 제공하였다.
• 연간 독립 감사가 지속적인 소프트웨어 프로세스 개선과 관리 감시에 기여하였다.
• SCCB는 테스트 사례 및 변경 요청을 효과적으로 추적하고 해결하여 개발 주기 전반에 걸쳐 추적 가능성과 종료를 보장하였다.